2달 전

깊은 매칭 사전: 밀도 있는 대응을 위한 테스트 시간 최적화

Hong, Sunghwan ; Kim, Seungryong
깊은 매칭 사전: 밀도 있는 대응을 위한 테스트 시간 최적화
초록

시각적으로 또는 의미론적으로 유사한 이미지 간에 밀도 높은 대응 관계를 설정하기 위한 기존 기술들은 작업 특화된 매칭 사전 확률을 설계하는 데 초점을 맞추었는데, 이는 모델링하기 어려웠습니다. 이를 극복하기 위해 최근의 학습 기반 방법들은 큰 훈련 데이터에서 모델 내부에서 좋은 매칭 사전 확률을 학습하려고 시도하였습니다. 성능 개선은 명확했지만, 충분한 훈련 데이터와 집중적인 학습이 필요한 점이 그 적용성을 제약하였습니다. 또한, 테스트 시에 고정된 모델을 사용하면 두 이미지 쌍이 자체 사전 확률을 필요로 한다는 사실을 고려하지 않으므로 성능이 제한적이고 미처 보지 못한 이미지에 대한 일반화 능력이 떨어집니다. 본 논문에서는 훈련되지 않은 매칭 네트워크를 입력 이미지 쌍에 대해 단독으로 최적화함으로써 이미지 쌍별 사전 확률을 포착할 수 있음을 보입니다. 이러한 밀도 높은 대응 관계를 위한 테스트 시간 최적화를 위해, 우리는 잔차 매칭 네트워크(residual matching network)와 신뢰성 인식 대조 손실(confidence-aware contrastive loss)를 제안하여 의미 있는 수렴을 보장합니다. 실험 결과, 우리의 프레임워크인 딥 매칭 프라이어(DMP)가 많은 훈련 데이터나 집중적인 학습이 필요하지 않음에도 불구하고 기하학적 매칭과 의미론적 매칭의 여러 벤치마크에서 최신 학습 기반 방법들과 경쟁하거나 심지어 더 우수한 성능을 보임을 입증하였습니다. 네트워크가事前に学習された状態で, DMP는すべてのベンチマークで最先端の性能を達成します.(注: 最后一句中的“事前に学習された状態で”和“すべてのベンチマークで最先端の性能を達成します”是从日语翻译过来的部分,正确的韩语翻译如下:)네트워크가 사전 학습된 상태에서, DMP는 모든 벤치마크에서 최고 수준의 성능을 달성합니다.

깊은 매칭 사전: 밀도 있는 대응을 위한 테스트 시간 최적화 | 최신 연구 논문 | HyperAI초신경