発表のポイント：

• バラバラに配置したモニタ群全体で、世界で初めて飛び出す巨大3D立体像の提示に成功
• 透明視錯覚（※1）を利用することで、モニタの種類が不揃いで、モニタ間に隙間がある場合でも、映像欠損を脳に補完させて、モニタの枠を飛び越える3D映像を提示可能
• 錯覚を用いた新しい映像表現を活用し、汎用的なデバイスを複合させたユビキタスな巨大3Dディスプレイの実現をめざす

　日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、脳の映像補完の働きを活用することで、バラバラに配置された複数のモニタ群の枠を超えて飛び出すように感じられる巨大3D空中像を提示するシステムを考案しました。
　本提案のシステムでは、脳の映像補完の働きを誘発する透明視錯覚を取り入れた映像デザインにより、飛び出す巨大3D像を提示します（図1）。この手法では、種類やサイズの異なるモニタが不揃いに配置され、モニタ間の隙間によって映像が部分的に欠損する場合でも3D映像の欠損箇所が脳で補完されて知覚されます。補完された映像の箇所の背後には映像を提示する画面がなく、隙間があることで逆に3D像がモニタ群が配置された場所から分離して空間内に存在するように感じられる、AR(※2)のような体験を、3Dシネマなどで使われてきた3D眼鏡で初めて可能としました。
　本成果は、6月24日より開催される、コミュニケーション科学基礎研究所オープンハウス2024に出展いたします。
図1 （上）従来の整列されたモニタ群による巨大3D映像提示法、および本提案のバラバラに配置されたモニタ群による提示法。従来は、モニタの縁が映像を遮蔽することで、奥にのみ提示できると考えられていたが、本提案手法では、透明視錯覚を誘導することで、飛び出す巨大3D像提示を実現している。（下）分散配置のモニタ群による、透明視錯覚を誘導する明るさ調整の施された巨大3D映像提示の様子。本提案では赤とシアンでグレースケールの3D映像を提示するアナグリフ方式を用いているが、シャッター方式などカラー化のできる他の方法でも代替可能。

1．背景
　従来、広告、エンターテイメント、イベント、VR/ARなどの領域で、大きな3D映像を提供するためには、重厚なヘッドセットや暗室、大きな液晶モニタなど、専用の機材や空間が必須でした。また、汎用ディスプレイを複数個並べて、単一の大きな映像を提示する方法（Tiled display）は、主に2D映像で活用されており、3D映像の提示に関しては、モニタのベゼル（縁）が映像を分断することで大きな違和感を引き起こすため、同じ種類のモニタを綺麗に整列する必要がありました（図1 左上）。そのため、既存の手法では準備に手間と労力を要することが課題となっていました。
　NTTコミュニケーション科学基礎研究所（CS研）は、人が感じるさまざまな錯覚現象を通じて、人の感覚・知覚メカニズムを探る人間科学の研究に取り組んできました。その過程で、画像の明るさを適切に設計することで、物体が遮蔽物の手前に半透明に重なるように知覚される「透明視錯覚」、および画像中の描画されていないところを補完する脳のしくみに関する知見を蓄積してきました。今回、これらの知見を活用し、錯覚を用いることで、専用機材や空間に限定されない新しい映像表現の実現に取り組みました。

2．成果の概要
　本研究では、モニタ群の3D映像提示に透明視錯覚を応用し、図1右上のように異なる種類のモニタがバラバラな位置に配置されている状態でも、それぞれのモニタの物理的位置を考慮して映像を提示できるシステムを考案しました（※2）。今回、これらの人間科学の知識と新しい提示技術を組み合わせることで、バラバラの異種モニタ群で構成された提示システムでも、巨大な立体像が飛び出て見えるような3D空中像を知覚的に提示することに成功しました。
　本技術では、バラバラのモニタ群から飛び出す3D空中像を提示するために、まずモニタ群の物理的な位置関係のキャリブレーションを行う手法を提案しました。これにより、バラバラのモニタ群であっても、モニタ間で映像の位置がずれず、全体で一つのまとまりのある映像を提示できます。その上で、透明視錯覚を誘起する映像の明るさ調整を施す方法を導入することで、モニタのベゼルや乱雑な配置によるモニタ間の隙間で映像に欠損が生じる状況でも、脳がそれを補完でき、結果として飛び出す３D空中像提示の実現が可能となります。
　このとき、浮かび上がる空中像は、モニタ間の隙間の前面にもまたがることになります。このことは、モニタ群がある場所とは切り離された本来何も存在しない空間に、空中像が浮かび上がって感じられるような作用をもたらし、空間に情報を付加するAR的な演出効果が可能になります。従来このようなAR体験は、光学素子やセンサ、計算部を備えた特殊なヘッドセットを装着しなければ鑑賞できないものであったことに対し、本技術はモニタ間の隙間および3D映画などで使用される汎用的な3D眼鏡により、新しい表現手段で飛び出す巨大3D像の体験を実現しました。

3．技術のポイント
①バラバラに配置したモニタのキャリブレーション
　各液晶モニタに、2次元コードによる一意なIDを埋め込んだチェッカーパタンを提示し、カメラでモニタ群全体を撮影することで、1ショットでモニタ間の位置関係を把握し、即座な配置の校正が可能です。1台のカメラでも校正可能ですが、ステレオカメラを使用することで、深度の推定精度をより向上させることができます。

図2 （左）各モニタに2次元コードによる一意なＩＤを埋め込んだチェッカーパタンを提示し、ステレオカメラでモニタ群全体を撮影する様子。（右）カメラによる撮影結果と各モニタの姿勢推定結果。

②透明視錯覚による映像の欠損補完
　本技術では、視覚心理学分野で研究されてきた脳内の視覚情報補完メカニズムや透明視知覚に関する知見を応用することで、新たな感覚を提示するディスプレイ技術に昇華させました。人間の脳には、不完全な情報から全体像を推測し、欠けている部分を補完する優れた能力が備わっており、物理的には存在しない輪郭が脳内で補完されて知覚される現象をモーダル補完と呼びます。（図3）。本技術では、このモーダル補完を利用して、モニタ間の隙間に生じる像の欠損を鑑賞者の脳内で補完して知覚させています。 　ただし、通常ではモニタの端で映像が隠れてしまうように知覚されるため、欠損が補完される感覚と像が手前にある立体感も生じません（図4a）。
　この問題を解決するため、本技術では透明視錯覚を利用しました。想定する隙間をまたがるような像の提示においては、透明視錯覚が生じる条件は「像の明るさが隙間および背景それぞれの明るさの間にあること」と定式化できます。
　この条件を満たすように像の明るさを操作した例を図4（b,c）に示しました。隙間が暗いときは背景を白く、隙間が明るいときは背景を黒く設定することで、透明視が生じる条件を満たしつつ3D像の明暗差（コントラスト）をできるだけ高く保つことができます。さらに、透明視知覚が主に空間的に狭い範囲の（局所的な）手がかりに基づいて起こることから、隙間の付近のみにこのような明るさ調整を施すことで、元の像の見た目を大きく損なわずに提示することも可能となります（図4d）。図4(b,c,d)のように適切に明るさを操作すると、図4 (e)のように、透明視が成立し、両眼融像時に3D像が枠を飛び越えて手前に知覚されるようになります。


4．今後の展望
　隙間の広さや提示コンテンツの配置の仕方によって、脳内での欠損の補完のしやすさがどう変わるかなど、未だ解明できていない要素の追究が重要な方向性のひとつです。今後はこうした補完のメカニズムの解明に取り組むことで、より幅広い条件で3D像が知覚できる柔軟な技術へと発展させていきます。また、本手法で扱ったような液晶モニタだけでなく、プロジェクタなど、他のさまざまなディスプレイも含めて複合させて巨大3D映像を提示できる、ユビキタスな巨大3Dディスプレイの実現をめざします。
　さらには、奥行き方向に配置された複数個の2D映像のディジタルサイネージにより3D感を演出する技術など、不特定多数に対する没入型の映像体験の創出に取り組みます。透明視錯覚以外の人間の知覚処理メカニズムの解明や、これに基づく立体視を効果的に演出する映像デザインの構築により、より自然で簡易な分散ディスプレイ表現の拡張をめざします。


＜用語解説＞
※1　透明視錯覚
　2つの輪郭が交わる点の周囲の明るさの関係がある特定の条件を満たすことで引き起こされる知覚現象[Metelli, 1974; Adelson and Anandan, 1990; Anderson, 1997]。
　透明視が生じる条件を満たすと、隙間を構成する領域と提示した像とが2つの層に分離して知覚され、モーダル補完により手前側の層が繋がっているような錯覚を生じます[Nakayama, Shimojo, & Ramachandran, 1990; Anderson, 2003; Kitaoka, Gyoba, & Sakurai, 2006]

※2　研究の成果の一部は、2023年9月に第28回日本バーチャルリアリティ学会大会にてデモンストレーション発表されました。論文情報：三河祐梨, 篠田裕之: BrickDisplay: 視差映像ディスプレイの分散配置による欠損を許した巨大空中像提示, 第28回日本バーチャルリアリティ学会大会 (VRSJ2023), 1G-24 2023年9月12日, 東京.

※3　 AR （拡張現実; Augmented Reality）：
　現実空間に3D-CG映像を重畳提示することで、仮想と現実の融合したリアリティを実現する技術の総称。スマートフォンなどのカメラで撮影した現実空間の画像にCG映像を重畳する手法のほかに、光学シースルーやホログラム等による空中像、およびプロジェクションマッピング等による、実空間上への映像重畳の手法がある。

※4　カニッツァの三角形
　イタリアの心理学者ガエタノ・カニッツァにより発表された錯視図形。辺の欠けた三角形の輪郭と３つの欠けた円により、実際は存在しない白い正三角形が主観的輪郭を伴って知覚される。より詳細な説明は下記サイト（NTT Illusion Forum）を参照。
https://illusion-forum.ilab.ntt.co.jp/kanizsas-triangle/index.html

※5　図4の交差法・平行法による両眼融像による3D視のデモンストレーション。なお、交差法・平行法は両眼立体視を行う際の観察方法であり、１列目・２列目が交差法、２列目・３列目が平行法に対応する。交差法は、右目で左側の画像を、左目で右側の画像を観察する。平行法は、この逆で、右目で右側の画像を、左目で左側の画像を観察する。