Command Palette
Search for a command to run...
深層マッチング事前分布:密集対応のテスト時最適化
深層マッチング事前分布:密集対応のテスト時最適化
Hong Sunghwan ; Kim Seungryong
概要
視覚的にまたは意味論的に類似した画像間で密集対応を確立する従来の手法は、タスク固有のマッチング事前分布(prior)の設計に焦点を当てていましたが、これはモデル化するのが困難でした。この課題を克服するために、最近の学習ベースの手法では、大規模な訓練データ上でモデル自体内で良いマッチング事前分布を学習しようと試みています。性能向上は明確でしたが、十分な訓練データと集中的な学習が必要であることがその適用性を阻んでいます。さらに、テスト時に固定されたモデルを使用することは、画像ペアごとに独自の事前分布が必要であるという事実を考慮しておらず、限られた性能と未見画像に対する貧弱な汎化能力しか提供できません。本稿では、未訓練のマッチングネットワークを入力される画像ペアに対して単独で最適化することで、画像ペア固有の事前分布を捉えることができることを示します。このようなテスト時の最適化のために特別に設計された残差マッチングネットワークと信頼度認識コントラスティブ損失を提案し、有意義な収束を保証します。実験結果から、我々のフレームワーク「Deep Matching Prior (DMP)」は幾何学的マッチングや意味論的マッチングに関するいくつかのベンチマークにおいて最新の学習ベース手法と競争できるか、それ以上の性能を持つことが示されました。DMPは大規模な訓練データや集中的な学習を必要とせず、ネットワークが事前に学習されていることで全てのベンチマークにおいて最先端の性能を達成しています。