世界初、IOWN APNの低遅延性能によりクラウド上で映像処理を行う内視鏡システムで内視鏡医がリアルタイムな診断・治療が実現可能なことを実証
発表のポイント：
なお本研究成果の一部は、2024年11月25日～29日に開催されるNTT R&D FORUM 2024 ―IOWN INTEGRAL（※2）に展示予定です。
1．背景
内視鏡は、先端の管を体内に挿入し、検査や組織サンプルの採取の際に使用される医療機器です。その低侵襲性と高い安全性から適用領域は年々拡大しており、高機能化も進んでいます。
最近では内視鏡撮影映像から病変の恐れがある部位を内視鏡操作者に提示するなどといった高度な支援機能を備え、より安全かつ確実な病変部位の早期発見に貢献しています。
一方で、現在の内視鏡は内視鏡装置内で全ての機能を処理しており、性能限界やメンテナンス性が課題となっています。また、リアルタイムでの遠隔診断や治療の実現など新たなユーザーニーズに基づく柔軟な機能改善／アップデートが必要になる場面が増えることが予想されます。そこで映像処理等処理負荷の高い一部の機能をクラウド上で分担する「内視鏡のクラウド化」が議論されています。
クラウドを活用した内視鏡映像処理の実現には、内視鏡機器とクラウドを接続するためのネットワークが重要であり、このネットワーク上で遅延が発生すると、内視鏡の操作に対する映像の遅れが発生してしまい、内視鏡の操作者に違和感を与えることになります。この違和感を内視鏡操作者に与えないためには、内視鏡で捉えた高画質の映像を安定的かつ低遅延でクラウド上の映像処理システムへ送る事が必要であり、その実現が課題となっていました。
2．実証実験の概要
本実証実験では、オリンパスの内視鏡の高度な技術に加え、NTTの高速低遅延のネットワークであるAPNを組み合わせることで、クラウドにおけるリアルタイムな内視鏡映像処理（クラウド内視鏡システム：図1）の実現をめざした実機検証を実施しました。
2-1 クラウド内視鏡システムの構成
本共同実証実験では内視鏡映像を入力するデバイス（以下「エッジデバイス」）から約150km離れた映像処理を行うサーバ（以下「サーバ」）間をAPNに接続し、クラウド内視鏡システムとして構成しました（図2）。
実証実験においては、内視鏡スコープで撮影された映像を、内視鏡プロセッサを経由してエッジデバイスに送り、映像を非圧縮のままAPNを通じてサーバに転送しました。映像を受け取ったサーバがAI等による映像処理を行い、処理済みの映像をエッジデバイスに返送し、最終的にエッジデバイスに接続された操作者が閲覧するモニタに処理後の映像を出力しました。
2-2 実証実験における各社の役割
APNを活用したクラウド内視鏡システムの実証実験を以下の分担で行いました。
■NTT：
APN実験用環境の提供およびAPNとの接続試験やネットワーク品質の評価を実施
■オリンパス：
内視鏡装置の提供およびクラウド内視鏡システムの動作試験やソフトウェア処理の評価を実施
3．共同実証実験の成果
本実証実験では距離約5mのケーブルによるローカル接続（内視鏡内での処理を想定）と距離約150kmのAPN接続の2構成にて映像処理を行い、操作者のモニタに出力された映像を測定用デバイスで撮影しネットワークのデータ遅延計測、および映像比較評価（図3、図4）を行いました。
リアルタイムで映像を確認しながら検査や手術を行う内視鏡システムの特徴を踏まえると、内視鏡スコープで撮影された映像を映像処理し操作者に遅延なく表示する必要があります。そのためモニタに出力される映像データ4K/60fpsが数フレームでも遅れて表示されると操作者に違和感を与えてしまいます。
そこで本実験では約150kmのネットワークとして許容するデータ転送の遅延値を、映像の1フレーム以内（16ミリ秒以内)にする事を目標として実験を行いました。結果は遅延値1.1ミリ秒となり、目標の1/10で転送が可能である事を実証しました（図5）。
また内視鏡操作者の目視確認による映像比較評価の結果においても、ローカル接続とAPN接続とでは遅延・揺らぎの両面において差分が感じられないほどであることが確認でき、APNの遅延時間は映像処理のボトルネックにはなり得ないということを実証しました。
今回エッジデバイスと約150km離れたサーバ間での映像処理が可能であることを確認できたことは、首都圏全域など広域エリアの病院を一カ所に集約した映像処理サーバで処理ができることの可能性を示しており、今後のクラウド内視鏡システムの社会実装に向けた貴重な知見を得られました。
以上の成果により、内視鏡のクラウド化の実現に必要な高画質映像を伝送するための大容量のネットワークと、検査映像を遅れることなく表示させるための低遅延を実現するネットワークに関する課題をAPNによって解決できることを実証しました。また、これにより、映像処理等処理負荷の高い一部の機能をクラウド上で分担する「クラウド内視鏡システム」の実現可能性を確認しました。
4．今後の展開
今後も両社でネットワーク伝送における医療データの高度なセキュリティ対策や複数の病院間での映像情報の共有によるリアルタイムでの遠隔診断や治療の実現などのクラウド内視鏡の社会実装に向けた技術課題の検討を進めます。
本取り組みによりNTTは、医療機器をクラウド化する際の諸技術課題を解決する、医療機器向けネットワークのリファレンスモデルを確立させ、オリンパスはクラウド内視鏡システムなどに最適なネットワーク、およびそのリファレンスモデルの確立に寄与していきます。
【用語解説】
※1：IOWN APN（オールフォトニクス・ネットワーク）
IOWNは、主に、ネットワークだけでなく端末処理まで光化する「オールフォトニクス・ネットワーク（APN）」、サイバー空間上でモノやヒト同士の高度かつリアルタイムなインタラクションを可能とする「デジタル・ツイン・コンピューティング」、それらを含む様々なICTリソースを効率的に配備する「コグニティブ・ファウンデーション」の3つで構成されます。
APNは、ネットワークから端末、チップの中にまで新たな光技術を導入することにより、これまで実現が困難であった超低消費電力化、超高速処理を達成します。1本の光ファイバ上で機能ごとに波長を割り当てて運用することで、インターネットに代表される情報通信の機能や、センシングの機能など、社会基盤を支える複数の機能を互いに干渉することなく提供することができます。
※2：「NTT R&D FORUM 2024 ―IOWN INTEGRAL」公式サイト
https://www.rd.ntt/forum/2024/
- IOWN APN（オールフォトニクス・ネットワーク）（※1、以下「APN」）を用いてクラウド内視鏡システムを構成することで、遅延の課題を解消し、150km離れた遠隔地のサーバ上で映像処理を実施しても、内視鏡医が患者さんに対してリアルタイムな診断・治療が実現可能なことを確認しました。
- 本結果を踏まえ、クラウド内視鏡システムの本格的実現に向け、NTTとオリンパスは共同で技術課題の解決に向け検討を進めてまいります。
なお本研究成果の一部は、2024年11月25日～29日に開催されるNTT R&D FORUM 2024 ―IOWN INTEGRAL（※2）に展示予定です。
【図1 クラウド内視鏡システムの概要】
1．背景
内視鏡は、先端の管を体内に挿入し、検査や組織サンプルの採取の際に使用される医療機器です。その低侵襲性と高い安全性から適用領域は年々拡大しており、高機能化も進んでいます。
最近では内視鏡撮影映像から病変の恐れがある部位を内視鏡操作者に提示するなどといった高度な支援機能を備え、より安全かつ確実な病変部位の早期発見に貢献しています。
一方で、現在の内視鏡は内視鏡装置内で全ての機能を処理しており、性能限界やメンテナンス性が課題となっています。また、リアルタイムでの遠隔診断や治療の実現など新たなユーザーニーズに基づく柔軟な機能改善／アップデートが必要になる場面が増えることが予想されます。そこで映像処理等処理負荷の高い一部の機能をクラウド上で分担する「内視鏡のクラウド化」が議論されています。
クラウドを活用した内視鏡映像処理の実現には、内視鏡機器とクラウドを接続するためのネットワークが重要であり、このネットワーク上で遅延が発生すると、内視鏡の操作に対する映像の遅れが発生してしまい、内視鏡の操作者に違和感を与えることになります。この違和感を内視鏡操作者に与えないためには、内視鏡で捉えた高画質の映像を安定的かつ低遅延でクラウド上の映像処理システムへ送る事が必要であり、その実現が課題となっていました。
2．実証実験の概要
本実証実験では、オリンパスの内視鏡の高度な技術に加え、NTTの高速低遅延のネットワークであるAPNを組み合わせることで、クラウドにおけるリアルタイムな内視鏡映像処理（クラウド内視鏡システム：図1）の実現をめざした実機検証を実施しました。
2-1 クラウド内視鏡システムの構成
本共同実証実験では内視鏡映像を入力するデバイス（以下「エッジデバイス」）から約150km離れた映像処理を行うサーバ（以下「サーバ」）間をAPNに接続し、クラウド内視鏡システムとして構成しました（図2）。
実証実験においては、内視鏡スコープで撮影された映像を、内視鏡プロセッサを経由してエッジデバイスに送り、映像を非圧縮のままAPNを通じてサーバに転送しました。映像を受け取ったサーバがAI等による映像処理を行い、処理済みの映像をエッジデバイスに返送し、最終的にエッジデバイスに接続された操作者が閲覧するモニタに処理後の映像を出力しました。
【図2 クラウド内視鏡システムおよびAPNの実験構成】
2-2 実証実験における各社の役割
APNを活用したクラウド内視鏡システムの実証実験を以下の分担で行いました。
■NTT：
APN実験用環境の提供およびAPNとの接続試験やネットワーク品質の評価を実施
■オリンパス：
内視鏡装置の提供およびクラウド内視鏡システムの動作試験やソフトウェア処理の評価を実施
3．共同実証実験の成果
本実証実験では距離約5mのケーブルによるローカル接続（内視鏡内での処理を想定）と距離約150kmのAPN接続の2構成にて映像処理を行い、操作者のモニタに出力された映像を測定用デバイスで撮影しネットワークのデータ遅延計測、および映像比較評価（図3、図4）を行いました。
リアルタイムで映像を確認しながら検査や手術を行う内視鏡システムの特徴を踏まえると、内視鏡スコープで撮影された映像を映像処理し操作者に遅延なく表示する必要があります。そのためモニタに出力される映像データ4K/60fpsが数フレームでも遅れて表示されると操作者に違和感を与えてしまいます。
そこで本実験では約150kmのネットワークとして許容するデータ転送の遅延値を、映像の1フレーム以内（16ミリ秒以内)にする事を目標として実験を行いました。結果は遅延値1.1ミリ秒となり、目標の1/10で転送が可能である事を実証しました（図5）。
また内視鏡操作者の目視確認による映像比較評価の結果においても、ローカル接続とAPN接続とでは遅延・揺らぎの両面において差分が感じられないほどであることが確認でき、APNの遅延時間は映像処理のボトルネックにはなり得ないということを実証しました。
今回エッジデバイスと約150km離れたサーバ間での映像処理が可能であることを確認できたことは、首都圏全域など広域エリアの病院を一カ所に集約した映像処理サーバで処理ができることの可能性を示しており、今後のクラウド内視鏡システムの社会実装に向けた貴重な知見を得られました。
【図3 実証実験の接続構成】
【図4 APN構成およびローカル構成での映像処理後の映像比較評価】
【図5 APNを介した約150kmにわたる長距離実証実験結果】
以上の成果により、内視鏡のクラウド化の実現に必要な高画質映像を伝送するための大容量のネットワークと、検査映像を遅れることなく表示させるための低遅延を実現するネットワークに関する課題をAPNによって解決できることを実証しました。また、これにより、映像処理等処理負荷の高い一部の機能をクラウド上で分担する「クラウド内視鏡システム」の実現可能性を確認しました。
4．今後の展開
今後も両社でネットワーク伝送における医療データの高度なセキュリティ対策や複数の病院間での映像情報の共有によるリアルタイムでの遠隔診断や治療の実現などのクラウド内視鏡の社会実装に向けた技術課題の検討を進めます。
本取り組みによりNTTは、医療機器をクラウド化する際の諸技術課題を解決する、医療機器向けネットワークのリファレンスモデルを確立させ、オリンパスはクラウド内視鏡システムなどに最適なネットワーク、およびそのリファレンスモデルの確立に寄与していきます。
【用語解説】
※1：IOWN APN（オールフォトニクス・ネットワーク）
IOWNは、主に、ネットワークだけでなく端末処理まで光化する「オールフォトニクス・ネットワーク（APN）」、サイバー空間上でモノやヒト同士の高度かつリアルタイムなインタラクションを可能とする「デジタル・ツイン・コンピューティング」、それらを含む様々なICTリソースを効率的に配備する「コグニティブ・ファウンデーション」の3つで構成されます。
APNは、ネットワークから端末、チップの中にまで新たな光技術を導入することにより、これまで実現が困難であった超低消費電力化、超高速処理を達成します。1本の光ファイバ上で機能ごとに波長を割り当てて運用することで、インターネットに代表される情報通信の機能や、センシングの機能など、社会基盤を支える複数の機能を互いに干渉することなく提供することができます。
※2：「NTT R&D FORUM 2024 ―IOWN INTEGRAL」公式サイト
https://www.rd.ntt/forum/2024/
