AA-RMVSNet: アダプティブ集約再帰的多視点ステレオネットワーク

本稿では、長短期記憶（LSTM）を用いた新しい再帰的多視点ステレオネットワークを提案します。このネットワークは適応的な集約機能を持つため、AA-RMVSNetと名付けられました。まず、コンテキストに応じた畳み込みと多尺度集約を使用して画像特徴を適応的に抽出する画内集約モジュールを導入します。これにより、細い物体や大きな低テクスチャ面などの難易度の高い領域での性能が効率的に向上します。複雑なシーンにおける変動する遮蔽の問題を克服するために、適応的なピクセル単位の画間コスト体積集約モジュールを提案します。このモジュールは、すべてのビューの中でよりよく一致したペアを保つことができます。提案された2つの適応集約モジュールは軽量で効果的であり、3次元再構築の精度と完全性の向上において互いに補完的な役割を果たします。従来の3次元CNNではなく、コスト体積正規化のために再帰構造を持つハイブリッドネットワークを利用しています。これにより高解像度の再構築とより細かい仮説平面スイープが可能になります。提案されたネットワークはエンドツーエンドで学習され、さまざまなデータセットで優れた性能を達成しています。Tanks and Templesベンチマークでは全ての提出の中でも第1位となり、DTUデータセットでも競争力のある結果を得ています。これは強力な汎化能力和頑健性を示しています。当方法の実装はhttps://github.com/QT-Zhu/AA-RMVSNetにて公開されています。