GeoCLIP: 위치와 이미지 간의 Clip 기반 정렬을 통한 효과적인 전 세계 지리적 위치 인식

전 세계 지리 위치 확인(WWW; Worldwide Geo-localization)은 지구 어디에서나 촬영된 이미지의 정확한 위치를 파악하는 것을 목표로 합니다. 이 작업은 지리적 풍경의 엄청난 다양성으로 인해 상당한 도전과제를 가지고 있습니다. 이미지-이미지 검색 기반 접근법은 전 세계를 포괄하는 대규모 이미지 갤러리를 구축하는 것이 현실적으로 불가능하기 때문에 이 문제를 전세계적으로 해결할 수 없습니다. 대신, 기존 접근법들은 지구를 개별적인 지리적 셀로 나누어 분류 작업으로 문제를 변환합니다. 그러나 이러한 방법들의 성능은 사전 정의된 클래스에 의해 제한되며, 이미지의 실제 위치가 클래스 중심에서 크게 벗어날 경우 종종 부정확한 위치 정보를 제공합니다.이러한 한계를 극복하기 위해, 우리는 새로운 CLIP에서 영감을 받은 이미지-GPS 검색 접근법인 GeoCLIP을 제안합니다. GeoCLIP의 위치 인코더는 무작위 푸리에 특성을 통해 위치 인코딩을 수행하고, 다양한 해상도에서 정보를 포착하여 의미론적으로 풍부한 고차원 특성을 생성함으로써 지구를 연속 함수로 모델링합니다(이 특성은 지오-위치 확인 외에도 활용 가능합니다). 우리所知, 이는 GPS 인코딩을 이용하여 지오-위치 확인을 수행하는 첫 번째 연구입니다. 우리는 벤치마크 데이터셋을 사용하여 광범위한 실험과 감소 분석(ablation)을 통해 우리의 방법의 유효성을 입증하였습니다. 단 20%의 학습 데이터만으로도 경쟁력 있는 성능을 달성하였으며, 이는 제한된 데이터 환경에서도 효과적임을 강조합니다. 또한, 우리의 이미지 인코더에 내재된 CLIP 백본(backbone)을 활용하여 텍스트 쿼리를 사용한 지오-위치 확인의 질적 효과도 보여주었습니다.프로젝트 웹페이지는 다음 주소에서 확인할 수 있습니다: https://vicentevivan.github.io/GeoCLIP注：在最后一段中，“我们所知”被误译为“우리所知”，正确的翻译应该是“우리가 아는 한”。这是由于输入时可能出现了中文字符混入的情况。以下是修正后的版本：프로젝트 웹페이지는 다음 주소에서 확인할 수 있습니다: https://vicentevivan.github.io/GeoCLIP우리가 아는 한, 이는 GPS 인코딩을 이용하여 지오-위치 확인을 수행하는 첫 번째 연구입니다. 우리는 벤치마크 데이터셋을 사용하여 광범위한 실험과 감소 분석(ablation)을 통해 우리의 방법의 유효성을 입증하였습니다. 단 20%의 학습 데이터만으로도 경쟁력 있는 성능을 달성하였으며, 이는 제한된 데이터 환경에서도 효과적임을 강조합니다. 또한, 우리의 이미지 인코더에 내재된 CLIP 백본(backbone)을 활용하여 텍스트 쿼리를 사용한 지오-위치 확인의 질적 효과도 보여주었습니다.프로젝트 웹페이지는 다음 주소에서 확인할 수 있습니다: https://vicentevivan.github.io/GeoCLIP