世界初、VRゴーグルや3Dグラスを装着せずにバーチャルキャラクタが鏡から飛び出す超鏡空中像表示システムを開発

日本電信電話株式会社
2024年07月26日
15：05

発表のポイント：

バーチャルキャラクタが鏡の中と外の空間を自在に移動できる超鏡空中像表示システムを世界で初めて実現
再帰反射による映像結像を利用することで、VRゴーグルや3Dグラスなどの装着物なしに鏡から飛び出す空中像を視聴可能
リアル空間とバーチャル空間をつなぎ、直感的なインタラクションを実現

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田明、以下NTT）は、デジタル情報が鏡の内外を自在に行き来できる超鏡空中像表示システムを、世界で初めて開発しました。これにより、鏡の内外を問わずデジタル情報を高い実在感で表示し、インタラクティブかつ直感的な操作が可能になります。本成果は、2024年7月28日から開催される世界最大のCG国際コンベンションSIGGRAPH2024 Emerging Technologiesで展示される予定です。　

1．背景
　従来、デジタル情報を日常空間に溶け込ませる技術の一つとして、半透明な鏡（ハーフミラー）の裏にディスプレイを設置して、鏡の中に情報を表示するミラーディスプレイが提案されています。この技術は鏡に映ったユーザとデジタル情報やバーチャルキャラクタを並べて表示できるなど、その誘目性の高さから、サイネージや各種アトラクションで利用が進んでいます。また同様に、ディスプレイの存在を意識させずに映像を空間中に結像させる空中像技術も提案されており、ライブイベントやスポーツ観戦への応用が進められています。しかし従来のミラーディスプレイや空中像技術では、デジタル情報を表示できる領域は鏡の中、もしくは鏡の外のいずれかに限定されており、鏡面という物理的な制約に縛られないデジタル情報の表示が困難でした。

２．成果の概要　
　本研究では、鏡の中と外をデジタル情報が自在に移動できる超鏡空中像表示システムを開発しました（図１）。このシステムによって、バーチャルキャラクタを鏡の中に表示する従来のミラーディスプレイのような映像表示だけでなく、バーチャルキャラクタが鏡の外に飛び出し、ユーザと同じ空間を共有するフィクションのような体験を実現できます。今回開発したシステムでは、移動機構を備えたディスプレイの映像を再帰反射※１によって空間中に結像させることで、複数のユーザがVRゴーグルや３Dグラスなどの装着物なしに同時に超鏡空中像を視聴できます。
本システムのデモンストレーションの様子はhttps://youtu.be/qjwOTF_b1sY から視聴いただけます。

３．技術のポイント
①リアル空間とバーチャル空間をつなぐ超鏡空中像光学系
　図２に超鏡空中像の光学系とその動作を示します。光源となるディスプレイからの出射光はハーフミラーで反射されたのち、再帰反射材※2で再帰反射されます。この光がハーフミラーを透過し、空間中に空中像として結像されます。ディスプレイは移動機構を備えており、空中像の奥行位置を中央のハーフミラーをはさんで前後させることで、空中像が鏡の中と外を連続的に行き来するという超鏡空中像ならではの現象を提示できます。また、ハーフミラーを三面鏡のように配置することで、空中像が結像されるまでの光路長※3を大きく伸ばすことなく、空中像を視聴できる範囲を拡大し、視聴できるユーザ数を増加させます。

②直感的なインタラクション手法
　従来の空中像技術では、空中像に直接手を伸ばすなどの直感的なインタラクション手法が多く用いられており、超鏡空中像表示システムでも、鏡の外に表示された空中像に対しては同じ手法を適用できます。くわえて、本システムではユーザが手を伸ばすことのできない鏡の中の空中像にも同様に直感的な操作を実現する手法を考案しました。まず、リアル空間のユーザの手の位置座標をセンサで取得します。空中像を鏡の外に表示するときは、ユーザの手の座標をそのまま使って空中像を操作します。空中像を鏡の中に表示するときは、鏡に映った手の座標を算出して空中像を操作します。このように空中像の表示領域に応じて座標を切り替えることで、ユーザは鏡の内外を問わずに空中像と直感的にインタラクションできます。

４．今後の展開
　空中像の実在感を向上させるための立体感や高画質化に向けた研究開発を進めるとともに、博物館などの文化施設やイベントなどのエンターテインメントの場においてリアル・バーチャル交錯空間における新たな映像視聴体験の創出をめざします。

【用語解説】
※1．再帰反射: 光源からの入射光をそのまま光源方向に返す反射。

※2．再帰反射材：再帰反射特性をもつ光学素子。再帰反射材の身近な利用例として道路標識があり、ヘッドライトの光が返ってくることで運転手が文字などを明るく視認できます。

※3．光路長：光源から出射された光が空中像として結像されるまでの光の通り道の距離。一般的に光路長が伸びることで結像される空中像の画質が低下します。