ヒトやモノの動きを含むダイナミックな空間情報を高精細かつ高速に遠隔地に伝送・再現する技術を確立
発表のポイント：
1．背景
NTTグループでは、実世界データ（空間情報）のデジタル化について、街やモビリティの全体最適を可能にする4Dデジタル基盤（※1）や、地域が抱える課題解決に寄与するフォトリアルなメタバースに活用（※2）することをめざして、3D点群メディア処理技術の研究開発を推進してまいりました。しかしこれまでの技術では、元になる点群データの計測方法の特性上対象は静的な物体に限定されており、動きのある空間情報をそのまま伝送・再現することは困難でした。
2．成果の概要
現実世界の空間を丸ごとキャプチャーして3Dモデル化し、空間内の自由な位置や角度から映像生成を可能にするボリュメトリックビデオ技術(※3)が知られていますが、その撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要であり、またその対象（被写体）は特定のオブジェクトに限定されています。
一方今回確立した「動的3D空間伝送・再現技術」では、少数のLiDAR(※4)およびカメラにより計測・撮影された膨大な3次元点群データと画像データを組み合わせることで、任意の場所・背景において、オブジェクトの動きを含む空間全体の情報を丸ごと伝送・再現することが可能です(図1)。
将来的には、IOWN(※5)の低遅延・大容量ネットワーク（APN：All-Photonics Network）を活用することで、膨大な動きのある空間情報を瞬時に双方向で共有できるようになります。これにより、都市や作業現場のモニタリング、災害対策や都市計画のシミュレーションだけでなく、遠隔のチームとのコラボレーション、そしてリアルタイムでフィードバックを行えるメタバース環境を実現していきます。
3．技術のポイント
「動的3D空間伝送・再現技術」では、その要素技術の一つであるリアルタイム3Dデータ高解像度化技術により、高密度な動的3D空間の伝送・再現を実現しています。
LiDARはレーザ反射から点群の位置を計測する機構のため、単位時間当たりに取得可能な点数に物理的な限界があります。そのため動きのある物体では点群データが極めて疎になり、形状の再現が困難という問題がありました。そこでNTTでは、点群データと同時に別カメラで収録された画像データをもとに、色と奥行きの対応関係を学習することで、疎な点群データを高速に高密度化する機械学習ベースの技術を新たに開発しました。本技術では、点群データの高密度化処理に画像フィルタ処理の考えを導入していますが、当該処理を直接畳み込み層に表現することで、従来技術と比較して機械学習のパラメータ数を約1000分の1にまで小型化しました。この軽量な機械学習モデルにより、処理速度を従来より約6倍高速化しました（表1）。この結果、市販のLiDARで計測されるデータの空間解像度について、リアルタイム処理で約20倍の高解像度化を実現しています（図2）。
4．今後の展開
今後は空間解像度だけでなく、より滑らかな動的3D空間の伝送・再現をめざしフレームレートの向上に取り組む予定です。また現実世界に含まれる振動等触覚に代表されるその他の五感情報含めてアクセス可能な没入感の高いリアル・バーチャル融合空間を創出し、都市の精緻なシミュレーションや超高臨場なコミュニケーションに適用することで、人と人、人と社会の「つながり」の質を高め、多様性を受容できる豊かな社会の実現をめざしていきます。
【用語解説】
※1 4Dデジタル基盤：ヒト・モノ・コトの様々なセンシングデータをリアルタイムに収集し、「緯度・経度・高度・時刻」の4次元の情報を高い精度で一致・統合させ、多様な産業基盤とのデータ融合や未来予測を可能とする基盤です。
URL：https://www.rd.ntt/4ddpf/
※2 地域共創推進に向けた「TENGUN Ogijimaプロジェクト」発足～IOWNで実現されるフォトリアルな「男木島」メタバースによる、関係人口創出・拡大をめざした共同検討を開始～ | ニュースリリース | NTT
URL：https://group.ntt/jp/newsrelease/2022/11/15/221115b.html
※3 ボリュメトリックビデオ技術：様々な角度から撮影した2Dのカメラ画像から、3D空間データを再構成する技術。人の動きを短時間で精度よく3DCG化することが可能。
※4 LiDAR（Light Detection and Ranging）：現実世界の空間を計測・把握するためのセンサー技術。レーザー光により「点群データ」と呼ばれる3次元の測量データを取得することで、離れた場所にある物体の形状や距離を高精度に計測することが可能。
※5 Innovative Optical and Wireless Network（IOWN）
あらゆる情報を基に個と全体との最適化を図り、光を中心とした革新的技術を活用し、高速大容量通信ならびに膨大な計算リソースなどを提供可能な、端末を含むネットワーク・情報処理基盤。NTTニュースリリース「NTT Technology Report for Smart World：What's IOWN?」
https://group.ntt/jp/newsrelease/2019/05/09/190509b.html
◆「Perfume 25th & 20th Anniversary Live Performance “IMA IMA IMA” Powered by NTT」特設サイト
https://www.perfume-web.jp/20x25-anniversary/IMAIMAIMA/
- 動きのある空間情報まで含めた伝送・再現を可能にする技術＝動的3D空間伝送・再現技術を確立。
- エンタメ領域をはじめ、高精細かつダイナミックなメタバース空間や産業分野における各種デジタルツインへの適用が期待される。
1．背景
NTTグループでは、実世界データ（空間情報）のデジタル化について、街やモビリティの全体最適を可能にする4Dデジタル基盤（※1）や、地域が抱える課題解決に寄与するフォトリアルなメタバースに活用（※2）することをめざして、3D点群メディア処理技術の研究開発を推進してまいりました。しかしこれまでの技術では、元になる点群データの計測方法の特性上対象は静的な物体に限定されており、動きのある空間情報をそのまま伝送・再現することは困難でした。
2．成果の概要
現実世界の空間を丸ごとキャプチャーして3Dモデル化し、空間内の自由な位置や角度から映像生成を可能にするボリュメトリックビデオ技術(※3)が知られていますが、その撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要であり、またその対象（被写体）は特定のオブジェクトに限定されています。
一方今回確立した「動的3D空間伝送・再現技術」では、少数のLiDAR(※4)およびカメラにより計測・撮影された膨大な3次元点群データと画像データを組み合わせることで、任意の場所・背景において、オブジェクトの動きを含む空間全体の情報を丸ごと伝送・再現することが可能です(図1)。
将来的には、IOWN(※5)の低遅延・大容量ネットワーク（APN：All-Photonics Network）を活用することで、膨大な動きのある空間情報を瞬時に双方向で共有できるようになります。これにより、都市や作業現場のモニタリング、災害対策や都市計画のシミュレーションだけでなく、遠隔のチームとのコラボレーション、そしてリアルタイムでフィードバックを行えるメタバース環境を実現していきます。
3．技術のポイント
「動的3D空間伝送・再現技術」では、その要素技術の一つであるリアルタイム3Dデータ高解像度化技術により、高密度な動的3D空間の伝送・再現を実現しています。
LiDARはレーザ反射から点群の位置を計測する機構のため、単位時間当たりに取得可能な点数に物理的な限界があります。そのため動きのある物体では点群データが極めて疎になり、形状の再現が困難という問題がありました。そこでNTTでは、点群データと同時に別カメラで収録された画像データをもとに、色と奥行きの対応関係を学習することで、疎な点群データを高速に高密度化する機械学習ベースの技術を新たに開発しました。本技術では、点群データの高密度化処理に画像フィルタ処理の考えを導入していますが、当該処理を直接畳み込み層に表現することで、従来技術と比較して機械学習のパラメータ数を約1000分の1にまで小型化しました。この軽量な機械学習モデルにより、処理速度を従来より約6倍高速化しました（表1）。この結果、市販のLiDARで計測されるデータの空間解像度について、リアルタイム処理で約20倍の高解像度化を実現しています（図2）。
今後は空間解像度だけでなく、より滑らかな動的3D空間の伝送・再現をめざしフレームレートの向上に取り組む予定です。また現実世界に含まれる振動等触覚に代表されるその他の五感情報含めてアクセス可能な没入感の高いリアル・バーチャル融合空間を創出し、都市の精緻なシミュレーションや超高臨場なコミュニケーションに適用することで、人と人、人と社会の「つながり」の質を高め、多様性を受容できる豊かな社会の実現をめざしていきます。
【用語解説】
※1 4Dデジタル基盤：ヒト・モノ・コトの様々なセンシングデータをリアルタイムに収集し、「緯度・経度・高度・時刻」の4次元の情報を高い精度で一致・統合させ、多様な産業基盤とのデータ融合や未来予測を可能とする基盤です。
URL：https://www.rd.ntt/4ddpf/
※2 地域共創推進に向けた「TENGUN Ogijimaプロジェクト」発足～IOWNで実現されるフォトリアルな「男木島」メタバースによる、関係人口創出・拡大をめざした共同検討を開始～ | ニュースリリース | NTT
URL：https://group.ntt/jp/newsrelease/2022/11/15/221115b.html
※3 ボリュメトリックビデオ技術：様々な角度から撮影した2Dのカメラ画像から、3D空間データを再構成する技術。人の動きを短時間で精度よく3DCG化することが可能。
※4 LiDAR（Light Detection and Ranging）：現実世界の空間を計測・把握するためのセンサー技術。レーザー光により「点群データ」と呼ばれる3次元の測量データを取得することで、離れた場所にある物体の形状や距離を高精度に計測することが可能。
※5 Innovative Optical and Wireless Network（IOWN）
あらゆる情報を基に個と全体との最適化を図り、光を中心とした革新的技術を活用し、高速大容量通信ならびに膨大な計算リソースなどを提供可能な、端末を含むネットワーク・情報処理基盤。NTTニュースリリース「NTT Technology Report for Smart World：What's IOWN?」
https://group.ntt/jp/newsrelease/2019/05/09/190509b.html
◆「Perfume 25th & 20th Anniversary Live Performance “IMA IMA IMA” Powered by NTT」特設サイト
https://www.perfume-web.jp/20x25-anniversary/IMAIMAIMA/
