전 세계 프록시 기반 하드 마이닝을 이용한 시각적 장소 인식

시각적 장소 인식을 위한 깊은 표현 학습은 일반적으로 각 훈련 반복에서 샘플링된 예제의 난이도에 크게 의존하는 쌍별 또는 삼중 손실 함수를 사용하여 수행됩니다. 기존 기술들은 이 문제를 해결하기 위해 오프라인 하드 마이닝을 사용하는데, 이는 각 반복에서 훈련 세트에서 가장 어려운 샘플들을 식별하는 과정으로, 계산과 메모리 비용이 많이 드는 방법입니다. 본 논문에서는 프록시(대리점)를 기반으로 전역 하드 미니 배치 샘플링을 수행하는 새로운 기술을 소개합니다. 이를 위해 네트워크에 새로운 엔드투엔드(end-to-end)로 학습 가능한 브랜치를 추가하여 효율적인 장소 설명자(각 장소마다 하나의 프록시)를 생성합니다. 이러한 프록시 표현은 데이터셋 내 모든 장소 간의 유사성을 포괄하는 전역 인덱스를 구성하는 데 사용되며, 각 훈련 반복에서 매우 정보가 많은 미니 배치 샘플링을 가능하게 합니다. 우리의 방법은 기존의 모든 쌍별 및 삼중 손실 함수와 함께 사용할 수 있으며, 추가적인 메모리와 계산 비용이 거의 발생하지 않습니다. 우리는 광범위한 축차 분석(ablation studies)을 수행하고, 우리의 기술이 Pittsburgh, Mapillary-SLS 및 SPED와 같은 여러 대규모 벤치마크에서 새로운 최고 성능을 달성함을 보여주었습니다. 특히, 어려운 Nordland 데이터셋에서 우리의 방법은 상대적으로 100% 이상의 개선 효과를 제공하였습니다. 우리의 코드는 https://github.com/amaralibey/GPM 에서 확인할 수 있습니다.