エピポーラ制約と非局所演算子がマルチビュー立体視で出会うとき

学習ベースの多視点ステレオ（MVS）手法は特徴マッチングに大きく依存しており、これには特徴的で説明力のある表現が必要です。有効な解決策として、非局所的な特徴量集約（例えば、Transformer）を適用することが挙げられます。これらの技術は有用ですが、MVSに対して重い計算負荷をもたらします。各ピクセルが画像全体と密接に関連するためです。これに対し、我々は非局所的な特徴量強化を線対内に制限することを提案します：各点は対応するエピポーラル線対のみに関連付けられます。このアイデアは古典的なエピポーラル幾何学から着想を得ています。これは、異なる深度仮説を持つ一点が他のビュー上のエピポーラル線上に投影されることを示しています。この制約により、ステレオマッチングにおける2次元探索空間がエピポーラル線上に縮小されます。同様に、これはMVSのマッチングが同じ線上にある一連の点を区別することであることを示唆しています。この点から線への探索にインスピレーションを受け、我々は線から点への非局所的な強化戦略を開発しました。まず、最適化された探索アルゴリズムを設計して2次元特徴マップをエピポーラル線対に分割します。その後、エピポーラルトランスフォーマー（Epipolar Transformer: ET）がエピポーラル線対間で非局所的な特徴量強化を行います。我々はETを学習ベースのMVS基準モデルであるET-MVSNetに組み込みました。ET-MVSNetはDTUおよびTanks-and-Templesベンチマークにおいて最先端の再構築性能を達成しており、高い効率性も兼ね備えています。コードは以下のURLで公開されています：https://github.com/TQTQliu/ET-MVSNet