D2-Net: 局所特徴の検出と記述を同時に行う学習可能なCNN

本研究では、困難な撮像条件下での信頼性の高いピクセルレベルの対応点を見つける問題に取り組んでいます。我々は、単一の畳み込みニューラルネットワークが二つの役割を同時に果たすアプローチを提案します。このネットワークは、高密度特徴記述子と特徴検出器として機能します。検出を後段に行うことで、低レベル構造の早期検出に基づく従来のキーポイントよりも安定したキーポイントを得ることができます。本モデルは、大規模なSfM（Structure from Motion）再構築から容易に抽出できるピクセル対応点を使用して訓練できることを示しています。これには追加の注釈が不要です。提案手法は、困難なアーヘンデイナイト位置推定データセットやInLoc屋内位置推定ベンチマークにおいて最先端の性能を達成し、画像マッチングや3次元再構築の他のベンチマークでも競争力のある性能を発揮しています。