RoMa: 健全な密集特徴量マッチング

特徴マッチングは、3次元シーンの2つの画像間の対応関係を推定する重要なコンピュータビジョンタスクであり、稠密な方法ではすべてのそのような対応関係を推定します。本研究では、挑戦的な実世界の変化にも対応できる堅牢なモデルを学習することを目指しており、基礎モデルDINOv2から得られる事前学習済みの特徴を活用したモデルを提案します。これらの特徴は、ゼロから訓練された局所特徴よりも著しく堅牢ですが、本質的に粗いものです。そこで、これらを専門的なConvNetの細かい特徴と組み合わせて、精密に局所化可能な特徴ピラミッドを作成しました。さらに堅牢性を向上させるために、アンカー確率を予測し多様性を表現できるように設計されたカスタマイズされたトランスフォーマー・マッチデコーダーを提案します。最後に、分類による回帰とその後の堅牢な回帰を通じた改良された損失関数の定式化も提案しています。我々は包括的な一連の実験を行い、その結果、提案手法RoMaが大幅な改善を達成し、新たな最先端技術となり得ることを示しました。特に、非常に困難なWxBSベンチマークにおいて36%の改善が見られました。コードはhttps://github.com/Parskatt/RoMa で提供されています。