要約
特徴点検出と局所的特徴記述は、多くのコンピュータビジョン応用において基本的なステップである。従来のアプローチは、「検出してから記述する」パラダイムに基づいており、繰り返し検出可能な特徴点をまず手作業で設計された手法で特定し、その後その点を局所的特徴記述子で表現する。近年、メトリック学習損失を用いて訓練されたニューラルネットワークがこの手法に追いつき、特徴点検出に向けた繰り返し可能なサリエンシーマップの学習、または検出された特徴点位置における記述子の学習に注力している。本研究では、繰り返し可能な領域が必ずしも識別性を持つわけではないため、最適でない特徴点を選択してしまう可能性があると主張する。さらに、マッチングが高信頼性で行える領域でのみ記述子を学習すべきであると提唱する。したがって、局所的記述子の識別性を予測する機構と併せて、特徴点検出と記述子の学習を統合的に実施する手法を提案する。これにより、曖昧な領域を回避でき、信頼性の高い特徴点の検出と記述が可能となる。本研究で提案する検出・記述アプローチは、スパースかつ繰り返し可能で信頼性の高い特徴点を同時に出力し、HPatchesデータセットおよび最新のAachen Day-Nightローカライゼーションベンチマークにおいて、最先端の検出器および記述子を上回る性能を達成した。