GA-Net: ガイド付き集約ネットワークによるエンドツーエンドのステレオマッチング

立体マッチングタスクにおいて、マッチングコストの集約は伝統的な手法や深層ニューラルネットワークモデルにおいて、正確な視差推定のために重要な役割を果たします。本研究では、局所的なコスト依存関係と全体画像のコスト依存関係をそれぞれ捉えることを目的とした2つの新しいニューラルネットワーク層を提案します。1つ目は、半全局集約層（Semi-Global Aggregation Layer）で、これは半全局マッチングの微分可能な近似です。2つ目は、局所ガイダンス集約層（Local Guided Aggregation Layer）で、伝統的なコストフィルタリング戦略に従って細い構造を洗練することを目指しています。これらの2つの層は、計算量が多くメモリ消費が大きい3次元畳み込み層に代わって使用することができます。3次元畳み込み層は立方体の計算/メモリ複雑さを持つため、広く使用されていますが、その点が問題となっています。実験では、2つのガイド付き集約ブロックを持つネットワークが19つの3次元畳み込み層を持つ最先端のGC-Netを容易に上回ることを示しました。さらに、深層ガイド付き集約ネットワーク（GA-Net）を訓練し、Scene FlowデータセットおよびKITTIベンチマークにおいて最先端の手法よりも高い精度を得ることを確認しました。