マルチレイヤー画像を用いたステレオ拡大

複数の半透明な色付きレイヤーでシーンを表現することは、リアルタイムの新視点合成において広く用いられ、成功を収めた手法である。従来のアプローチでは、平面または球面形状の等間隔に配置されたレイヤー上で、色および透過度を推定していた。本研究では、シーンに適応した幾何構造を持つ複数の半透明レイヤーを用いた新しい視点合成手法を提案する。本手法はステレオペアを用いて2段階にわたってこの表現を推定する。第1段階では、与えられた視点ペアからデータに適応した少数のレイヤーの幾何構造を推定する。第2段階では、これらのレイヤーに対して色および透過度の値を推定し、最終的な新視点合成用の表現を構築する。重要な点として、両段階は微分可能なレンダラによって接続されており、エンドツーエンドで学習が可能である。実験の結果、シーンの幾何構造に適応しない等間隔レイヤーを用いる従来手法と比較して、本手法の優位性を示した。レンダリング速度が数桁高速であるにもかかわらず、implicit geometry表現に基づく最近提案されたIBRNetシステムをも上回る性能を達成した。結果の詳細は以下にて確認可能：https://samsunglabs.github.io/StereoLayers