이미지 검색을 위한 슈퍼피처 학습

최근 여러 도전적인 딥 이미지 검색 벤치마크에서 국소적 특징과 전역적 특징을 결합하는 방법들이 뛰어난 성능을 보여주고 있으나, 이러한 방법들은 국소적 특징의 사용으로 인해 적어도 두 가지 문제를 야기한다. 첫째, 이러한 국소적 특징은 신경망의 국소화된 맵 활성화에 불과하여 극도로 중복될 수 있다. 둘째, 일반적으로 전역적 손실을 이용해 학습되며, 이 손실은 국소적 특징의 집계 위에서만 작용한다. 반면 테스트는 국소적 특징 매칭에 기반하므로, 학습과 테스트 간의 불일치가 발생한다. 본 논문에서는 단지 중수준 특징에 기반한 새로운 아키텍처를 제안한다. 이 특징을 우리는 '슈퍼-특징(Super-features)'이라 부르며, 반복적인 어텐션 모듈을 통해 구성된다. 슈퍼-특징은 각 요소가 국소적이고 구분 가능한 이미지 패턴에 집중하는 순서가 있는 집합을 형성한다. 학습 시에는 이미지 레이블만 필요하다. 대조적 손실(contrastive loss)은 슈퍼-특징 수준에서 직접 작용하며, 이미지 간에 일치하는 특징에 초점을 맞춘다. 두 번째 보완적 손실은 특징 간의 다양성을 유도한다. 일반적인 랜드마크 검색 벤치마크에서의 실험을 통해, 동일한 수의 특징을 사용할 때 슈퍼-특징이 최신 기술(SOTA) 방법들을 크게 능가함을 입증하였으며, 성능을 동일하게 유지하더라도 훨씬 더 작은 메모리 용량을 요구함을 확인하였다. 코드와 모델은 다음 링크에서 제공된다: https://github.com/naver/FIRe.