要約
多視点からの新視点合成というタスクに取り組み、既存の複数のソース画像から任意のカメラポーズを持つターゲット画像を合成することを目的とする。本研究では、3Dの教師信号を一切用いずに、複数の視点情報を活用して新規視点を合成することができる、エンドツーエンドで学習可能なフレームワークを提案する。具体的には、ソースビューに含まれる情報を直接利用するとともに、統計的事前知識に基づいて欠落しているピクセルを「幻覚化（ hallucinate ）」するための、フロー予測モジュールとピクセル生成モジュールから構成されるモデルを設計した。複数のソース画像を入力とした際、この二つのモジュールが生成する予測結果を統合するため、自己学習型の信頼度集約メカニズムを導入した。本モデルは、3Dオブジェクトモデルからレンダリングされた画像および実写・合成されたシーンの両方に対して評価を行った。その結果、既存の最先端手法と同等、あるいはそれを上回る性能を達成できることを示した。さらに、利用可能なソース画像が増えるにつれて、モデルの予測精度が段階的に向上するという特性も確認された。