近隣合意ネットワーク

画像間の信頼性のある高密度対応点を見つける問題に取り組んでいます。これは、対応するシーン要素間の強い外観の違いと、反復パターンによって生じる曖昧さのために、困難な課題となっています。本研究の貢献は三つあります。第一に、局所的な制約を使用して特徴マッチングを明確にするという古典的なアイデアに着想を得て、画像ペア間のすべての可能な対応点の4次元空間における近傍合意パターンを分析することにより、空間的に一貫したマッチングセットを識別するエンドツーエンドで学習可能な畳み込みニューラルネットワークアーキテクチャを開発しました。この方法では、全体的な幾何モデルを必要とせずに処理が可能です。第二に、画像ペアのマッチングと非マッチングからなる弱い教師ありデータを使用してモデルを効果的に学習できることが示されました。これにより、コストのかかる点対点の対応点の手動注釈を必要とせずに済みます。第三に、提案された近傍合意ネットワークがカテゴリレベルおよびインスタンスレベルのマッチングなど、さまざまなマッチングタスクに適用できることを示し、PF PascalデータセットとInLoc屋内視覚位置推定ベンチマークにおいて最先端の結果を得ました。