要約
深層学習に基づく多視点ステレオが、複数の視点から完全な幾何学的な詳細を持つ物体を再構成する強力なパラダイムとして登場しました。既存のアプローチの多くは、予測された点と線と表面の交点との間のギャップを最小化することによりピクセル単位での深度値のみを推定しており、通常表面トポロジーを無視しています。これは、テクスチャがない領域や表面境界が適切に再構成されない場合に重要です。この問題に対処するために、我々は点と表面との距離を利用することを提案します。これにより、モデルはより広範囲の表面を認識できるようになります。この目的のために、コストボリュームから距離ボリュームを予測し、表面周辺の各点の符号付き距離を推定します。我々が提案するRA-MVSNetはパッチに注意を払う設計となっています。なぜなら、仮想平面を表面のパッチに関連付けることで認識範囲が拡大されるためです。これにより、テクスチャがない領域の完成度が向上し、境界での外れ値が減少します。さらに、導入された距離ボリュームによって細かい詳細を持つメッシュトポロジーが生成できます。従来の深層学習に基づく多視点ステレオ手法と比較して、我々が提案するRA-MVSNetアプローチは符号付き距離監督を利用してより完全な再構成結果を得ています。DTUおよびTanks & Templesデータセットでの実験結果は、我々の提案手法が最先端の成果を達成していることを示しています。注：「Tanks & Temples」は一般的なデータセット名であるため、「タンクス アンド テンプルズ」と表記しました。「patch-awared」については、「パッチに注意を払う」と訳しましたが、「パッチ認識型」という表現も可能です。