사전 훈련된 모델의 시각적 장소 인식을 위한 원활한 적응을 향해

최근 연구들은 대규모 데이터를 기반으로 일반적인 시각 학습 과제에서 사전 훈련된 시각 모델이 다양한 시각 인지 문제에 유용한 특징 표현을 제공할 수 있음을 보여주고 있다. 그러나 이러한 사전 훈련된 기초 모델을 시각적 장소 인식(Visual Place Recognition, VPR)에 활용한 시도는 여전히 드물다. 모델 사전 훈련과 VPR 간의 학습 목표 및 데이터의 본질적 차이로 인해, 사전 훈련된 모델의 잠재력을 최대한 발휘하기 위해 이 두 작업 사이의 격차를 어떻게 극복할지 여전히 해결해야 할 핵심 과제이다. 이를 위해 우리는 사전 훈련된 모델을 VPR에 원활하게 적응시키는 새로운 방법을 제안한다. 구체적으로, 장소를 구분하는 데 중요한 주목할 만한 지표지(landmark)에 초점을 맞춘 전역적(global) 및 국소적(local) 특징을 효과적으로 추출하기 위해 하이브리드 적응 방법을 설계하였으며, 사전 훈련된 모델의 가중치를 조정하지 않고 오직 경량 어댑터(lightweight adapters)만 조정함으로써 효율적인 전역 및 국소 적응을 달성하였다. 또한 효과적인 적응을 유도하기 위해 상호 최근접 이웃(mutual nearest neighbor) 기반의 국소 특징 손실 함수를 제안하였으며, 이는 국소 매칭에 적절한 밀도 높은 국소 특징을 생성하고, 재정렬 과정에서 시간이 많이 소요되는 공간적 검증(spatial verification)을 피할 수 있도록 한다. 실험 결과, 제안한 방법은 더 적은 학습 데이터와 학습 시간으로 최신 기술들보다 우수한 성능을 보였으며, RANSAC 기반 공간적 검증을 사용하는 이단계 VPR 방법에 비해 약 3%의 검색 실행 시간만을 소모하였다. 본 방법은 MSLS 챌린지 리더보드에서 제출 당시 1위를 기록하였다. 코드는 https://github.com/Lu-Feng/SelaVPR 에 공개되어 있다.