SuperGlue: グラフニューラルネットワークを用いた特徴点マッチングの学習

本論文では、SuperGlueというニューラルネットワークを紹介します。このネットワークは、2つの局所特徴集合間の対応関係を見つけるとともに、非対応点を拒否することによりマッチングを行います。割り当ては、グラフニューラルネットワークによって予測されたコストを使用して、微分可能な最適輸送問題を解くことで推定されます。私たちは、注意に基づいた柔軟なコンテキスト集約メカニズムを導入し、これによりSuperGlueは基礎となる3次元シーンと特徴量の割り当てについて共同で推論することが可能になります。従来の手動設計のヒューリスティック手法と比較して、当技術は画像ペアから端到端で学習することで、幾何変換や3次元世界の規則性に関する事前知識を学びます。SuperGlueは他の学習ベースの手法を上回り、困難な実世界の屋内および屋外環境における姿勢推定タスクにおいて最先端の結果を達成しています。提案手法は現代のGPU上でリアルタイムでマッチングを行い、現代のSfM（構造から運動）またはSLAM（同時局所化とマッピング）システムに容易に統合できます。コードと学習済み重みは公開されており、https://github.com/magicleap/SuperGluePretrainedNetwork から入手可能です。