HDMI信号を世界最低遅延である0.1ミリ秒以下で長距離伝送信号へ変換する技術を開発 ～離れていても同一の場所にいるようなリアルタイムコミュニケーション空間の実現へ～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、4K120Hz・FHD240HzのHDMI信号を世界最低遅延である0.1ミリ秒以下で長距離伝送信号へ変換する技術を開発しました。本技術と IOWN オールフォトニクス・ネットワーク（All-Photonics Network、以下「APN」※1）を組み合わせることにより、”低遅延”と”高精細”の両方を実現した映像伝送が可能であり、瞬間の動きと音（1秒間に120フレーム表示される4K映像まで）をリアルタイムに離れた拠点間にも伝送できます。
本技術は、FPGA※2上で利用可能な回路情報（FPGA-IP）で実現しているため、ポート数やサイズなどの利用ケースに応じた多様なハードウェアとの組み合わせが可能となります。本FPGA-IPはライセンス販売(技術開示)という形態で提供されており、最終製品やソリューションで利用可能です。
1．背景
VRやAR技術の発展による、離れた場所にいながら多数の人が同じ空間を同じ時間に楽しんだり、共同作業を行ったりといったリアルタイムコミュニケーションにおいて、リアルな体験を得られる没入感の高いアプリケーションの拡大が期待されています。没入感を得るためには、映像を複数地点で同時に感じること（リアルタイム性）と実物を見ているように感じること（高精細映像）の両方が求められます。その為、オフィスや家庭などで幅広く使われている映像機器（カメラ、モニターなど）から出力されるHDMI信号を遠く離れた場所へ伝送する時にも、“低遅延”、”高画質・高音質なまま”であることが求められます。しかし、IP網利用を前提とした従来技術ではネットワーク遅延及びネットワークの帯域不足に伴う信号圧縮による遅延や、信号圧縮による画質・音質低下が発生してしまうため、没入感の高いアプリケーションで求められる「リアルタイム性」と「高精細」は達成できませんでした（図1）。
2．本技術の詳細
NTTでは、4K120Hz・FHD240HzのHDMI信号を非圧縮のまま世界最低遅延の0.1ミリ秒以下で長距離伝送信号へ変換する技術を開発しました。本技術とIOWN APNを組み合わせることにより、高精細かつ非常に動きの速い映像を劣化させることなく遠隔地で再現可能となり、地理的に離れた環境であっても、あたかも同一の場所にいるかのようなリアルタイムコミュニケーション空間の実現が期待できます（図2）。
本技術は、音声を含む映像信号（HDMI信号）を大容量・固定帯域・固定遅延のレイヤ1信号（OTN※3信号）へ直接収容することで、映像信号の圧縮伸張に要する処理時間を不要とし、映像品質の劣化や通信による遅延変動なしに遠隔地への映像伝送を可能とします。その結果、ファイバ伝搬の遅延時間（※4）が無視できる程に小さい場合、送信側での映像入力から受信側での映像出力までの遅延時間を0.1ミリ秒以内に抑えています。また、4K120HzやFHD240Hzという高解像度・高リフレッシュレートの映像信号を圧縮なしに伝送することで、非常に動きが速い映像でも高精細かつ動きに劣化がなく、遠く離れた場所へ伝送することを実現しました。
本技術は、FPGA上で利用可能な回路情報（FPGA-IP）として実現しており、ポート数やサイズなどの利用ケースに応じて多様なハードウェアとの組み合わせが可能となります（図3）。NTTで開発したFPGA-IPのスペックは表1の通りです。
3．今後の展開
本技術とIOWN APNとの組み合わせにより、没入感の高いアプリケーション（VR・ARなど）に加えて、拠点間でのタイミング合わせが重要な遠隔アクティビティ（遠隔合奏、遠隔合唱、ダンスレッスンなど）や人物同士での遠隔でのかけあい（ディベート、漫才など）もこれまで以上の低遅延かつ安定的な遅延環境で実現することが可能となります。また、高精細映像を低遅延で遠隔地へ届けることが可能であることから、これまでリアルタイムでの高精細映像での遠隔監視が難しかった領域（工場のライン監視、鉄道・交通の監視など）への適用も期待できます。今後は低遅延と高精細映像の両立が必要となるユースケースの拡大の検討を進め、豊かな社会の実現を推進します。
本FPGA-IPはライセンス販売(有償)を行っております。本技術は、FPGA上で利用可能な回路情報（FPGA-IP）で実現しており、多様なハードウェアとの組み合わせが可能となります。
【用語解説】
※1．IOWN APN（オールフォトニクス・ネットワーク）
IOWNは、主に、ネットワークだけでなく端末処理まで光化する「オールフォトニクス・ネットワーク（APN）」、サイバー空間上でモノやヒト同士の高度かつリアルタイムなインタラクションを可能とする「デジタル・ツイン・コンピューティング」、それらを含む様々なICTリソースを効率的に配備する「コグニティブ・ファウンデーション」の3つで構成されます。
APNは、ネットワークから端末、チップの中にまで新たな光技術を導入することにより、これまで実現が困難であった超低消費電力化、超高速処理を達成します。1本の光ファイバ上で機能ごとに波長を割り当てて運用することで、インターネットに代表される情報通信の機能や、センシングの機能など、社会基盤を支える複数の機能を互いに干渉することなく提供することができます。
https://www.rd.ntt/iown/
※2．FGPA
Field Programmable Gate Array。論理の書き換えが可能な集積回路であり、ソフトウェアの柔軟性とハードウェアの高速性を兼ね備えている。
※3．OTN（Optical Transport Network）は、国際標準化機関（ITU-T）で規定される通信規格のこと。
※4．光ファイバで信号を伝送する際に、物理的にかかる時間。（5μs/km）
本技術は、FPGA※2上で利用可能な回路情報（FPGA-IP）で実現しているため、ポート数やサイズなどの利用ケースに応じた多様なハードウェアとの組み合わせが可能となります。本FPGA-IPはライセンス販売(技術開示)という形態で提供されており、最終製品やソリューションで利用可能です。
1．背景
VRやAR技術の発展による、離れた場所にいながら多数の人が同じ空間を同じ時間に楽しんだり、共同作業を行ったりといったリアルタイムコミュニケーションにおいて、リアルな体験を得られる没入感の高いアプリケーションの拡大が期待されています。没入感を得るためには、映像を複数地点で同時に感じること（リアルタイム性）と実物を見ているように感じること（高精細映像）の両方が求められます。その為、オフィスや家庭などで幅広く使われている映像機器（カメラ、モニターなど）から出力されるHDMI信号を遠く離れた場所へ伝送する時にも、“低遅延”、”高画質・高音質なまま”であることが求められます。しかし、IP網利用を前提とした従来技術ではネットワーク遅延及びネットワークの帯域不足に伴う信号圧縮による遅延や、信号圧縮による画質・音質低下が発生してしまうため、没入感の高いアプリケーションで求められる「リアルタイム性」と「高精細」は達成できませんでした（図1）。
2．本技術の詳細
NTTでは、4K120Hz・FHD240HzのHDMI信号を非圧縮のまま世界最低遅延の0.1ミリ秒以下で長距離伝送信号へ変換する技術を開発しました。本技術とIOWN APNを組み合わせることにより、高精細かつ非常に動きの速い映像を劣化させることなく遠隔地で再現可能となり、地理的に離れた環境であっても、あたかも同一の場所にいるかのようなリアルタイムコミュニケーション空間の実現が期待できます（図2）。
本技術は、音声を含む映像信号（HDMI信号）を大容量・固定帯域・固定遅延のレイヤ1信号（OTN※3信号）へ直接収容することで、映像信号の圧縮伸張に要する処理時間を不要とし、映像品質の劣化や通信による遅延変動なしに遠隔地への映像伝送を可能とします。その結果、ファイバ伝搬の遅延時間（※4）が無視できる程に小さい場合、送信側での映像入力から受信側での映像出力までの遅延時間を0.1ミリ秒以内に抑えています。また、4K120HzやFHD240Hzという高解像度・高リフレッシュレートの映像信号を圧縮なしに伝送することで、非常に動きが速い映像でも高精細かつ動きに劣化がなく、遠く離れた場所へ伝送することを実現しました。
本技術は、FPGA上で利用可能な回路情報（FPGA-IP）として実現しており、ポート数やサイズなどの利用ケースに応じて多様なハードウェアとの組み合わせが可能となります（図3）。NTTで開発したFPGA-IPのスペックは表1の通りです。
3．今後の展開
本技術とIOWN APNとの組み合わせにより、没入感の高いアプリケーション（VR・ARなど）に加えて、拠点間でのタイミング合わせが重要な遠隔アクティビティ（遠隔合奏、遠隔合唱、ダンスレッスンなど）や人物同士での遠隔でのかけあい（ディベート、漫才など）もこれまで以上の低遅延かつ安定的な遅延環境で実現することが可能となります。また、高精細映像を低遅延で遠隔地へ届けることが可能であることから、これまでリアルタイムでの高精細映像での遠隔監視が難しかった領域（工場のライン監視、鉄道・交通の監視など）への適用も期待できます。今後は低遅延と高精細映像の両立が必要となるユースケースの拡大の検討を進め、豊かな社会の実現を推進します。
本FPGA-IPはライセンス販売(有償)を行っております。本技術は、FPGA上で利用可能な回路情報（FPGA-IP）で実現しており、多様なハードウェアとの組み合わせが可能となります。
【用語解説】
※1．IOWN APN（オールフォトニクス・ネットワーク）
IOWNは、主に、ネットワークだけでなく端末処理まで光化する「オールフォトニクス・ネットワーク（APN）」、サイバー空間上でモノやヒト同士の高度かつリアルタイムなインタラクションを可能とする「デジタル・ツイン・コンピューティング」、それらを含む様々なICTリソースを効率的に配備する「コグニティブ・ファウンデーション」の3つで構成されます。
APNは、ネットワークから端末、チップの中にまで新たな光技術を導入することにより、これまで実現が困難であった超低消費電力化、超高速処理を達成します。1本の光ファイバ上で機能ごとに波長を割り当てて運用することで、インターネットに代表される情報通信の機能や、センシングの機能など、社会基盤を支える複数の機能を互いに干渉することなく提供することができます。
https://www.rd.ntt/iown/
※2．FGPA
Field Programmable Gate Array。論理の書き換えが可能な集積回路であり、ソフトウェアの柔軟性とハードウェアの高速性を兼ね備えている。
※3．OTN（Optical Transport Network）は、国際標準化機関（ITU-T）で規定される通信規格のこと。
※4．光ファイバで信号を伝送する際に、物理的にかかる時間。（5μs/km）
