LoFTR: Transformerを使用した検出器なしの局所特徴量マッチング

私たちは新しい局所画像特徴マッチング手法を提案します。従来の画像特徴検出、記述、およびマッチングを順次行う方法とは異なり、まず粗いレベルでピクセル単位の密集したマッチを確立し、その後細かいレベルで良いマッチを精緻化する手法を提案します。コストボリュームを使用して対応点を探査するような密集型手法とは対照的に、私たちはトランスフォーマー内の自己注意層とクロス注意層を使用して、両方の画像に依存した特徴記述子を得ます。トランスフォーマーが提供するグローバルな受容野により、当手法は低テクスチャ領域においても密集したマッチを生成することが可能となりました。この領域では通常、特徴検出器が再現性のある興味点を生成するのが困難です。室内および室外データセットでの実験結果は、LoFTRが最新の手法に対して大幅に優れていることを示しています。また、視覚的局所化に関する2つの公開ベンチマークにおいても、既存の手法の中でLoFTRがトップの性能を達成しています。