17일 전

시각적 장소 인식을 위한 환경 및 장소 특화 유틸리티에 대한 계층적 이중 모델

Nikhil Varma Keetha, Michael Milford, Sourav Garg
시각적 장소 인식을 위한 환경 및 장소 특화 유틸리티에 대한 계층적 이중 모델
초록

시각적 장소 인식(VPR) 기법들은 일반적으로 특정 장소를 식별하는 데 높은 '유용성(utility)'을 지닌 시각적 특징, 이미지 영역 또는 랜드마크를 식별함으로써 장소를 매칭하려는 시도를 해왔다. 그러나 이러한 '유용성' 개념은 단일한 형태가 아니라 다양한 형태를 가질 수 있다. 본 논문에서는 VPR에 있어 두 가지 핵심적인 유용성 유형을 도출하는 새로운 접근법을 제안한다. 첫째는 환경에 특화된 시각적 특징의 유용성, 둘째는 특정 장소에 특화된 시각적 특징의 유용성이다. 우리는 대조 학습(contrastive learning) 원리를 활용하여, 비지도(unsupervised) 방식으로 로컬로 집계된 서술자 벡터(VLAD) 클러스터의 환경 특이적 및 장소 특이적 유용성을 추정하며, 이를 바탕으로 키포인트 선택을 통해 국소적 특징 매칭을 안내한다. 이러한 두 가지 유용성 측정치를 결합함으로써, 본 방법은 세 가지 도전적인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하면서도, 필요한 저장 용량과 계산 시간을 동시에 감소시켰다. 추가 분석을 통해 비지도 기반의 클러스터 선택이 의미 있는 의미적 결과를 도출함을 보이며, 고급 의미적 분류(예: 건물, 도로)보다 더 세밀한 분류가 VPR에서 보다 높은 유용성을 가지는 경우가 많음을 확인하였다. 또한 이러한 두 가지 유용성 측정치가 다양한 장소와 환경 간에 어떻게 변화하는지에 대해 체계적으로 분석하였다. 소스 코드는 https://github.com/Nik-V9/HEAPUtil 에 공개되어 있다.