フロー、ステレオ、および深度推定の統一

私たちは、光学フロー、直交ステレオマッチング、および非直交ステレオ深度推定の3つの運動と3次元知覚タスクに対する統一的な定式化とモデルを提案します。従来の各特定タスクに特化したアーキテクチャとは異なり、これら3つのタスクを直接特徴量の類似性を比較することで解くことができる統一的な密集対応マッチング問題として定式化しました。このような定式化には差別的な特徴表現が求められますが、これを達成するためにトランスフォーマー、特にクロスアテンションメカニズムを使用しています。クロスアテンションは、他の画像からの知識をクロスビュー相互作用を通じて統合することができ、これにより抽出された特徴量の品質が大幅に向上します。私たちの統一モデルは、モデルアーキテクチャとパラメータがタスク間で共有されているため、自然にクロスタスク転移を可能にします。我々はSintelデータセットという難問においてRAFTよりも優れた性能を示し、さらにいくつかの追加的なタスク固有の改良手順を用いた最終モデルは10個の人気のあるフロー、ステレオ、深度データセットにおいて最近の最先端手法よりも優れたり同等以上の性能を発揮します。また、モデル設計や推論速度においてもより単純かつ効率的です。