低遅延トランスポート技術と精密バイラテラル制御技術による触覚を伴った遠隔操作実証をIOWN APNで実施 ～遠隔地においても目の前で触れたかのようなリアルタイムで安定した操作感を確認～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、NTTが提供するIOWN APN(※1、以下「APN」)を活用した低遅延トランスポート技術に、ソニーグループ株式会社（以下「ソニー」）が開発する精密バイラテラル制御技術を接続し、離れた地点間にあっても距離を感じさせない触覚を伴った精密遠隔操作を実現すべく共同実証を実施しました。共同実験では、高精度な力覚情報を3D映像情報とともに低遅延で遠隔地にいる操作者にフィードバックすることで、遠隔地においてもあたかも目の前で直接触れたかのようなリアルタイムで安定した操作感が得られることを確認しました。
本研究成果の一部は、2023年11月14日～17日に開催されるNTT R&D フォーラム― IOWN ACCELERATION（※2）に展示予定です。
1．研究の背景
近年、パンデミックや少子高齢化にともなう労働力不足などの影響を受け、遠隔ロボット制御技術への関心が高まっています。バイラテラル制御技術は、操作者の動作に応じて遠隔地にあるロボットアームを連動させられるロボット制御技術です。特に高精度で安定した動作が求められる医療などの分野に応用する場合には、操作者とロボットアーム間の伝送における遅延や揺らぎが問題となることがあります。そのため、遠隔での精密ロボット制御の実現には高精度なロボットアームの活用に加え、遠隔地間を低遅延で安定して繋ぐことができる通信技術が必要となります。
2．実証実験の概要
2.1 実証実験における各社の役割
APNを活用した精密遠隔操作実証実験（図1）を以下の分担で行いました。
■NTT:
APNテスト用環境とAPNにて優れた性能を発揮する非圧縮映像伝送技術およびRDMA(※3)アクセラレーション技術を提供し、APN接続試験およびネットワーク条件の評価実験を実施。
■ソニー:
RDMAを用いた通信機能を有した精密バイラテラル制御システム、空間再現ディスプレイ『ELF-SR2』と3D映像の撮像および処理技術、ならびに、操作支援のための先端位置や奥行きを示すUI重畳や仮想力場による力の誘導技術を提供し、動作評価を実施。
2.2 技術のポイント
（1）低遅延トランスポート技術
非圧縮映像伝送技術： 映像データをSDI信号(※4)からSMPTE ST 2110ストリーム(※5)へダイレクトにマッピングすることによって、送信側での映像入力から受信側での映像出力までの遅延を1ms (ミリセカンド)以内に抑えられる技術です。
RDMAアクセラレーション技術： RDMAはCPUの介在なくメモリ上のデータを直接ネットワークへ転送できる特徴をもっているため、IOWNが提唱しているディスアグリゲーティッドコンピュティング(※6)の高速低遅延データ転送として有望です。しかしながら、RDMAにて信頼性のあるデータ転送を行うRDMA RC(Reliable Connection)はデータセンタ内など短距離のデータ転送を想定しているため、中長距離通信に適用しようとするとパフォーマンスが出ない問題がありました。この問題に対し、転送が成功したかを確認するループバック信号を端末側で擬似生成することでアプリケーション側のRDMA利用方法を変更することなく長延化を可能にしました。
（2）精密バイラテラル制御技術
操作者の動きとロボットアーム先端を高い精度で連動させて、遠隔操作するソニーの技術。アーム先端の位置と三次元方向の力の変化を一定の倍率で操作者側にフィードバックできる特長を有し、力精度1gf（グラム重、ニュートン換算で0.0098N）で1mm未満の位置精度を実現します。対象物を高精度かつ繊細にとりあつかうことが求められる、医療や微細な工作、科学的研究などの分野への応用が期待されています。
2.3 共同実証実験結果
共同実証実験はAPNテスト用環境に低遅延トランスポート技術を用意し、APNの両端にソニーの精密バイラテラル制御システムを接続して行いました(図2)。視覚情報に関しては、3D映像をNTTの非圧縮映像伝送技術を用いてAPNにダイレクトに送出し、実在感のある立体映像を裸眼で見られるソニーの空間再現ディスプレイで操作者側に提示しました。また、力覚情報含む制御情報はソニーの精密バイラテラル制御システムとNTTのRDMAアクセラレーション技術を接続し、APNを介したメモリ間通信で行いました。
評価の結果、APNを介した約120km(キロメートル)にわたる長距離実証実験では、1ms(ミリセカンド)以下の低遅延でエンドツーエンドの安定動作を確認しました。RDMAを用いたアプリケーション側の通信処理は、APNを介した場合も10μs(マイクロセカンド)以下の低揺らぎにて安定動作できました。これにより、APNと低遅延トランスポート技術が伝送の遅延や揺らぎの課題を解決し、近距離を前提としていた精密バイラテラル制御をより離れた地点間に拡張できる可能性が示されました。
3．今後の展開
今回、距離を感じさせない触覚を伴った遠隔操作の実現に向けて、NTTの低遅延トランスポート技術とソニーの精密バイラテラル制御技術を融合した共同実証をAPNで実施しました。その結果、低遅延・低揺らぎでの精密な遠隔精密操作を確認しました。今後は、具体的なユースケースを考慮した実証実験を実施し、場所の制約を越えた精密な遠隔操作の適用範囲を拡大することで豊かな社会の実現を推進します。
＜用語解説＞
※1 IOWN APN(オールフォトニクス・ネットワーク)：
IOWN GFにてオープンにアーキテクチャ策定が行われているフォトニクス技術をベースとした革新的ネットワーク。フォトニクス（光）ベースの技術の適用範囲を拡大することで、現在のエレクトロニクス（電子）ベースでは困難な、低消費電力、高品質・大容量、低遅延の伝送を実現する。
https://www.rd.ntt/iown/
※2 「NTT R&D FORUM 2023 -IOWN ACCELERATION」公式サイト:
https://www.rd.ntt/forum/
※3 RDMA（Remote Direct Memory Access）：
データセンタ、高性能計算、リアルタイムシステムなどの短距離のデータ転送で広く用いられている、ネットワーク越しにメモリ上のデータを直接転送する技術。
※4 SDI（Serial Digital Interface）信号:
放送設備で一般的に使われている同軸ケーブルを利用した映像伝送方式。
※5 SMPTE ST 2110規格:
SMPTE（Society of Motion Picture and Television Engineers）が定める映像・音声をIPネットワーク上で柔軟に伝送する規格。
※6 IOWN ディスアグリゲーテッドコンピューティング:
CPUやメモリ等のリソースを直接光で接続、光の高速性・優れた伝送特性を活かし、ラックスケールやデータセンタスケールの1つのコンピュータとして扱う概念。
本研究成果の一部は、2023年11月14日～17日に開催されるNTT R&D フォーラム― IOWN ACCELERATION（※2）に展示予定です。
1．研究の背景
近年、パンデミックや少子高齢化にともなう労働力不足などの影響を受け、遠隔ロボット制御技術への関心が高まっています。バイラテラル制御技術は、操作者の動作に応じて遠隔地にあるロボットアームを連動させられるロボット制御技術です。特に高精度で安定した動作が求められる医療などの分野に応用する場合には、操作者とロボットアーム間の伝送における遅延や揺らぎが問題となることがあります。そのため、遠隔での精密ロボット制御の実現には高精度なロボットアームの活用に加え、遠隔地間を低遅延で安定して繋ぐことができる通信技術が必要となります。
2．実証実験の概要
2.1 実証実験における各社の役割
APNを活用した精密遠隔操作実証実験（図1）を以下の分担で行いました。
■NTT:
APNテスト用環境とAPNにて優れた性能を発揮する非圧縮映像伝送技術およびRDMA(※3)アクセラレーション技術を提供し、APN接続試験およびネットワーク条件の評価実験を実施。
■ソニー:
RDMAを用いた通信機能を有した精密バイラテラル制御システム、空間再現ディスプレイ『ELF-SR2』と3D映像の撮像および処理技術、ならびに、操作支援のための先端位置や奥行きを示すUI重畳や仮想力場による力の誘導技術を提供し、動作評価を実施。
2.2 技術のポイント
（1）低遅延トランスポート技術
非圧縮映像伝送技術： 映像データをSDI信号(※4)からSMPTE ST 2110ストリーム(※5)へダイレクトにマッピングすることによって、送信側での映像入力から受信側での映像出力までの遅延を1ms (ミリセカンド)以内に抑えられる技術です。
RDMAアクセラレーション技術： RDMAはCPUの介在なくメモリ上のデータを直接ネットワークへ転送できる特徴をもっているため、IOWNが提唱しているディスアグリゲーティッドコンピュティング(※6)の高速低遅延データ転送として有望です。しかしながら、RDMAにて信頼性のあるデータ転送を行うRDMA RC(Reliable Connection)はデータセンタ内など短距離のデータ転送を想定しているため、中長距離通信に適用しようとするとパフォーマンスが出ない問題がありました。この問題に対し、転送が成功したかを確認するループバック信号を端末側で擬似生成することでアプリケーション側のRDMA利用方法を変更することなく長延化を可能にしました。
（2）精密バイラテラル制御技術
操作者の動きとロボットアーム先端を高い精度で連動させて、遠隔操作するソニーの技術。アーム先端の位置と三次元方向の力の変化を一定の倍率で操作者側にフィードバックできる特長を有し、力精度1gf（グラム重、ニュートン換算で0.0098N）で1mm未満の位置精度を実現します。対象物を高精度かつ繊細にとりあつかうことが求められる、医療や微細な工作、科学的研究などの分野への応用が期待されています。
2.3 共同実証実験結果
共同実証実験はAPNテスト用環境に低遅延トランスポート技術を用意し、APNの両端にソニーの精密バイラテラル制御システムを接続して行いました(図2)。視覚情報に関しては、3D映像をNTTの非圧縮映像伝送技術を用いてAPNにダイレクトに送出し、実在感のある立体映像を裸眼で見られるソニーの空間再現ディスプレイで操作者側に提示しました。また、力覚情報含む制御情報はソニーの精密バイラテラル制御システムとNTTのRDMAアクセラレーション技術を接続し、APNを介したメモリ間通信で行いました。
評価の結果、APNを介した約120km(キロメートル)にわたる長距離実証実験では、1ms(ミリセカンド)以下の低遅延でエンドツーエンドの安定動作を確認しました。RDMAを用いたアプリケーション側の通信処理は、APNを介した場合も10μs(マイクロセカンド)以下の低揺らぎにて安定動作できました。これにより、APNと低遅延トランスポート技術が伝送の遅延や揺らぎの課題を解決し、近距離を前提としていた精密バイラテラル制御をより離れた地点間に拡張できる可能性が示されました。
3．今後の展開
今回、距離を感じさせない触覚を伴った遠隔操作の実現に向けて、NTTの低遅延トランスポート技術とソニーの精密バイラテラル制御技術を融合した共同実証をAPNで実施しました。その結果、低遅延・低揺らぎでの精密な遠隔精密操作を確認しました。今後は、具体的なユースケースを考慮した実証実験を実施し、場所の制約を越えた精密な遠隔操作の適用範囲を拡大することで豊かな社会の実現を推進します。
＜用語解説＞
※1 IOWN APN(オールフォトニクス・ネットワーク)：
IOWN GFにてオープンにアーキテクチャ策定が行われているフォトニクス技術をベースとした革新的ネットワーク。フォトニクス（光）ベースの技術の適用範囲を拡大することで、現在のエレクトロニクス（電子）ベースでは困難な、低消費電力、高品質・大容量、低遅延の伝送を実現する。
https://www.rd.ntt/iown/
※2 「NTT R&D FORUM 2023 -IOWN ACCELERATION」公式サイト:
https://www.rd.ntt/forum/
※3 RDMA（Remote Direct Memory Access）：
データセンタ、高性能計算、リアルタイムシステムなどの短距離のデータ転送で広く用いられている、ネットワーク越しにメモリ上のデータを直接転送する技術。
※4 SDI（Serial Digital Interface）信号:
放送設備で一般的に使われている同軸ケーブルを利用した映像伝送方式。
※5 SMPTE ST 2110規格:
SMPTE（Society of Motion Picture and Television Engineers）が定める映像・音声をIPネットワーク上で柔軟に伝送する規格。
※6 IOWN ディスアグリゲーテッドコンピューティング:
CPUやメモリ等のリソースを直接光で接続、光の高速性・優れた伝送特性を活かし、ラックスケールやデータセンタスケールの1つのコンピュータとして扱う概念。
