要約
最近の階層型マルチビュー立体再構成（MVS）手法は、仮説範囲を狭めることで高解像度深度マップを効率的に推定できるようになった。しかし、従来の手法は粗い段階に内在する重要な幾何情報を見過ごしており、コストマッチングが脆弱になり、最適な再構成結果に至らない場合があった。本論文では、粗い段階に含まれる幾何的ヒントを明示的に統合し、精密な深度推定を実現する幾何意識型モデル、GeoMVSNetを提案する。特に、粗い推定から幾何的事前知識を抽出し、細かい段階における構造特徴抽出を強化するための二本のブランチからなる幾何融合ネットワークを設計した。また、深度分布の重要な特性を符号化した粗い確率ボリュームを、軽量な正則化ネットワークに組み込むことで、深度方向の幾何的直感をさらに強化した。同時に、高周波成分による悪影響を軽減するため周波数ドメインフィルタリングを導入し、段階的学習戦略（カリキュラム学習）を用いてモデルの幾何統合能力を段階的に向上させた。さらに、モデルの全体像における幾何認識能力を強化するため、ガウス混合モデル（Gaussian-Mixture Model）の仮定に基づいた深度分布類似性損失関数を提案した。DTUおよびTanks and Temples（T&T）データセットにおける広範な実験により、GeoMVSNetが最先端の性能を達成し、T&T-Advancedセットでは首位を獲得したことが確認された。コードは以下のURLで公開されている：https://github.com/doubleZ0108/GeoMVSNet。