天候や日照条件に左右されない街本来の「真の色」を推定する技術を開発 最難関国際会議CVPRで発表 ～超リアルメタバース空間の構築やその照明制御が可能に～
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、撮影された画像から照明条件によらない「真の色」（※1）である物体固有の反射率（アルベド）を推定する固有画像分解（※2）タスクにおいて、LiDAR反射強度を用いた手法を確立し、従来の教師無し学習手法の中で最高精度を達成しました。
今回実現した固有画像分解手法により、影などの照明条件に依存した成分を画像から取り除くことで、任意の照明条件を再現することが可能になります。
今後は、本技術を画像認識やメタバース空間構築などにも適用することで、より高品質なサービスの確立に貢献します。
なお、本研究成果は、国際会議CVPR（Conference on Computer Vision and Pattern Recognition）2023に採択されました。
1．研究の背景
NTTが提唱したIOWN構想（※3）の実現に向け、様々な実世界データのデジタル化に向けた技術創出に取り組んでいます。その中で、画像・映像を撮影してデジタルデータとして取り込む際、撮影時の照明条件によってAI解析の精度やユーザ体験の品質に大きく影響するという課題がありました。
例えば、物体認識や自己位置推定では、撮影時の照明条件が推定精度に影響を与えるため、様々な照明条件下で撮影した画像データを集めて検証する必要がありました。また、メタバース空間の構築では、複数のデータを統合する際、さまざまな日照条件で計測したデータがツギハギになり、メタバース空間に撮影時の影が残ってしまう問題がありました。
2．研究の成果
NTTが今回確立した固有画像分解手法により、カメラ等で撮影された画像から影などの照明条件に依存した成分を取り除くことで、照明条件によらない物体固有の反射率（アルベド）を推定することが可能になります。
これにより、物体認識タスクにおいて撮影時における照明条件の影響を排除し、より高精度に認識することができるほか、メタバース空間構築において、影が映っている画像からでも、影を排除し任意の日照条件を再現したメタバース空間を構築できるようになります。
3．技術のポイント
・LiDAR反射強度を利用
本技術では、固有画像分解の精度を向上させるため、太陽光の影響がないLiDARで計測した反射強度を利用することで、効率的な学習を実現しました。
LiDARとは、レーザーを照射し、その反射光を計測することで3D空間上の距離を計測し、点群として記録する装置です。LiDARはレーザー照射により能動的に計測するため、反射光計測時に取得できる反射強度(Intensity)が照明条件に依存しない情報としてアルベドを推定する有力な手掛かりとなることに着目しました。
・従来技術と比較した際の優位性
従来の固有画像分解では、正解となるアルベド情報が付与されたCG画像から学習する方法(教師有り学習手法)や、事前知識を元にアルベドらしさを反復学習させる方法(教師無し学習手法)などがありましたが、実写画像での推定精度の低下や、日影とテクスチャの区別ができないなど、さまざまな問題がありました。
しかし今回の提案手法では、LiDAR反射強度を併用することで日影とテクスチャを区別して学習でき、教師無し学習手法の中で最高精度を達成し、教師有り学習手法と比較しても遜色ない精度を達成しました。
4．今後の展開
今後も、更なる精度向上に向けた研究開発を推進していくと共に、画像認識やメタバース空間構築などにも適用し、より高品質なサービスの確立に向け研究開発を推進していく予定です。
＜CVPRとは＞
CVPRは、コンピュータビジョン分野において最難関の国際会議として知られ、今回のCVPR2023における論文採択率は25.8% (9,155件の投稿) でした。2023年6月18日から22日(太平洋標準時)にカナダのバンクーバーで開催されます。
＜用語解説＞
※1 真の色：照明条件によらない物体固有の反射率（アルベド）
※2 固有画像分解：観測画像を、物体表面の照明条件に依存しない反射率（アルベド）画像と、照明条件に依存する陰影画像に分解する手法
※3 IOWN構想： 「IOWN構想」とは、革新的な技術によりこれまでのインフラの限界を超え、あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創るため、光を中心とした革新的技術を活用した高速大容量通信、膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
URL：https://www.rd.ntt/iown/0001.html
今回実現した固有画像分解手法により、影などの照明条件に依存した成分を画像から取り除くことで、任意の照明条件を再現することが可能になります。
今後は、本技術を画像認識やメタバース空間構築などにも適用することで、より高品質なサービスの確立に貢献します。
なお、本研究成果は、国際会議CVPR（Conference on Computer Vision and Pattern Recognition）2023に採択されました。
1．研究の背景
NTTが提唱したIOWN構想（※3）の実現に向け、様々な実世界データのデジタル化に向けた技術創出に取り組んでいます。その中で、画像・映像を撮影してデジタルデータとして取り込む際、撮影時の照明条件によってAI解析の精度やユーザ体験の品質に大きく影響するという課題がありました。
例えば、物体認識や自己位置推定では、撮影時の照明条件が推定精度に影響を与えるため、様々な照明条件下で撮影した画像データを集めて検証する必要がありました。また、メタバース空間の構築では、複数のデータを統合する際、さまざまな日照条件で計測したデータがツギハギになり、メタバース空間に撮影時の影が残ってしまう問題がありました。
2．研究の成果
NTTが今回確立した固有画像分解手法により、カメラ等で撮影された画像から影などの照明条件に依存した成分を取り除くことで、照明条件によらない物体固有の反射率（アルベド）を推定することが可能になります。
これにより、物体認識タスクにおいて撮影時における照明条件の影響を排除し、より高精度に認識することができるほか、メタバース空間構築において、影が映っている画像からでも、影を排除し任意の日照条件を再現したメタバース空間を構築できるようになります。
3．技術のポイント
・LiDAR反射強度を利用
本技術では、固有画像分解の精度を向上させるため、太陽光の影響がないLiDARで計測した反射強度を利用することで、効率的な学習を実現しました。
LiDARとは、レーザーを照射し、その反射光を計測することで3D空間上の距離を計測し、点群として記録する装置です。LiDARはレーザー照射により能動的に計測するため、反射光計測時に取得できる反射強度(Intensity)が照明条件に依存しない情報としてアルベドを推定する有力な手掛かりとなることに着目しました。
・従来技術と比較した際の優位性
従来の固有画像分解では、正解となるアルベド情報が付与されたCG画像から学習する方法(教師有り学習手法)や、事前知識を元にアルベドらしさを反復学習させる方法(教師無し学習手法)などがありましたが、実写画像での推定精度の低下や、日影とテクスチャの区別ができないなど、さまざまな問題がありました。
しかし今回の提案手法では、LiDAR反射強度を併用することで日影とテクスチャを区別して学習でき、教師無し学習手法の中で最高精度を達成し、教師有り学習手法と比較しても遜色ない精度を達成しました。
4．今後の展開
今後も、更なる精度向上に向けた研究開発を推進していくと共に、画像認識やメタバース空間構築などにも適用し、より高品質なサービスの確立に向け研究開発を推進していく予定です。
＜CVPRとは＞
CVPRは、コンピュータビジョン分野において最難関の国際会議として知られ、今回のCVPR2023における論文採択率は25.8% (9,155件の投稿) でした。2023年6月18日から22日(太平洋標準時)にカナダのバンクーバーで開催されます。
＜用語解説＞
※1 真の色：照明条件によらない物体固有の反射率（アルベド）
※2 固有画像分解：観測画像を、物体表面の照明条件に依存しない反射率（アルベド）画像と、照明条件に依存する陰影画像に分解する手法
※3 IOWN構想： 「IOWN構想」とは、革新的な技術によりこれまでのインフラの限界を超え、あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創るため、光を中心とした革新的技術を活用した高速大容量通信、膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
URL：https://www.rd.ntt/iown/0001.html
