AMES: 인스턴스 수준 검색을 위한 비대칭적이고 메모리 효율적인 유사도 추정

이 연구는 메모리 효율성 제약 하에 인스턴스 수준의 이미지 검색 재정렬 문제를 탐구하며, 최종적으로 이미지당 메모리 사용량을 1KB로 제한하는 것을 목표로 한다. 일반적으로 성능 향상에 초점을 맞추는 기존 연구들과는 달리, 본 연구는 성능과 메모리 요구량 사이의 핵심적인 트레이드오프를 우선시한다. 제안된 모델은 로컬 디스크립터를 기반으로 이미지 내부 및 이미지 간의 상호작용을 포착함으로써 이미지 간 유사도를 추정하는 트랜스포머 기반 아키텍처를 사용한다. 이 모델의 특징적인 특성은 비대칭적 유사도 추정 능력이다. 데이터베이스 이미지는 쿼리 이미지보다 더 적은 수의 디스크립터로 표현되며, 이는 메모리 소비를 늘리지 않으면서도 성능 향상을 가능하게 한다. 다양한 응용 환경에의 적응성을 보장하기 위해, 테스트 단계에서 로컬 디스크립터의 개수를 유연하게 조정할 수 있는 유니버설 모델이 도입되었다. 표준 벤치마크에서의 실험 결과는 본 연구의 접근법이 수작업 기반 및 학습 기반 모델 모두에 비해 우수함을 입증한다. 특히, 현재 최첨단 기법들이 메모리 사용량을 무시하는 반면, 본 연구는 훨씬 낮은 메모리 사용량으로 더 뛰어난 성능을 달성하고 있다. 코드와 사전 학습된 모델은 공개적으로 다음 링크에서 제공된다: https://github.com/pavelsuma/ames