AmsterTime: 극심한 도메인 시프트를 위한 시각적 장소 인식 벤치마크 데이터셋

우리는 극심한 도메인 전이 상황에서 시각적 장소 인식(VPR) 성능을 평가하기 위해 도전적인 데이터셋인 AmsterTime을 소개한다. AmsterTime은 암스테르담 시의 도로 전경 이미지와 역사적 아카이브 이미지 데이터를 일치시켜 구성된 2,500장의 정교하게 구성된 이미지 쌍을 제공한다. 이 이미지 쌍들은 서로 다른 카메라, 시점, 외관을 가진 동일한 장소를 촬영한 것으로, 실제 환경 변화에 대한 강한 도전을 반영한다. 기존의 벤치마크 데이터셋과 달리, AmsterTime은 지리정보시스템(GIS) 기반 네비게이션 플랫폼(Mapillary)을 통해 직접 커뮤니티 기반으로 수집되었다. 우리는 검증(verification) 및 검색(retrieval) 작업에 대해 비학습 기반, 지도학습 및 자기지도학습 방법을 포함한 다양한 베이스라인 모델들을 평가하였으며, 각각 다른 관련 데이터셋으로 사전 훈련된 모델들을 활용하였다. 그 결과, 검증 작업에서는 Landmarks 데이터셋으로 사전 훈련된 ResNet-101 모델이 84%의 정확도를 기록하였고, 검색 작업에서는 24%의 정확도를 달성하며 최고의 성능을 보였다. 또한, 암스테르담의 주요 랜드마크 일부를 별도로 수집하여 분류 작업에서 특징 표현을 평가하였다. 이 분류 레이블은 깊이 있는 거리 기반 학습 모델에서 학습된 유사한 시각적 패턴을 분석하기 위해 Grad-CAM을 활용한 시각적 설명을 추출하는 데 사용되었다.