3DVNet: 多視点深度予測と体積的精緻化

私たちは3DVNetを提案します。これは、従来の深度ベースと体積型マルチビューステレオ（MVS）アプローチの利点を組み合わせた新しい多視点立体深度予測手法です。私たちの主要なアイデアは、3Dシーンモデリングネットワークを使用することです。このネットワークは、一連の粗い深度予測を反復的に更新し、基礎となるシーンジオメトリに一致する高精度な予測結果を得ます。既存の深度予測技術とは異なり、当手法では世界座標系で全ての深度マップを共同で処理する体積型3次元畳み込みニューラルネットワーク（CNN）を使用しています。これにより、ネットワークは意味のあるシーンレベルの事前知識を学習することが可能となります。さらに、既存の体積型MVS技術とは異なり、当3D CNNは特徴量強化されたポイントクラウド上で動作し、多視点情報の効果的な集約と深度マップの柔軟な反復改善が可能です。実験結果は、ScanNetデータセットにおいて当手法が深度予測および3D再構築指標で最先端の精度を超えることを示しており、TUM-RGBDおよびICL-NUIMデータセットから選択したいくつかのシーンでも同様です。これらの結果は、当手法が効果的であり、新しい設定にも適応できることが確認できることを示しています。