전역 특징은 이미지 검색 및 재정렬을 위한 유일한 요소입니다

이미지 검색 시스템은 전통적으로 두 단계 파라다임을 활용하며, 초기 검색에는 전역 특징(global features)을, 재정렬(reranking)에는 국소 특징(local features)을 사용한다. 그러나 재정렬 단계에서 국소 특징 매칭으로 인해 발생하는 상당한 저장 및 계산 비용으로 인해 이 방법의 확장성은 종종 제한된다. 본 논문에서는 두 단계 모두 전역 특징만을 활용하는 새로운 접근법인 SuperGlobal을 제안한다. 이 방법은 정확도를 희생하지 않으면서도 효율성을 크게 향상시킨다. SuperGlobal은 검색 시스템의 핵심적인 개선 사항을 도입하였으며, 특히 전역 특징 추출 및 재정렬 과정에 초점을 맞추고 있다. 특징 추출 측면에서는, 널리 사용되는 ArcFace 손실 함수와 일반화 평균(Generalized Mean, GeM) 풀링을 결합할 경우 부적절한 성능이 나타남을 확인하고, GeM 풀링을 개선하기 위한 여러 새로운 모듈을 제안한다. 재정렬 단계에서는, 소수의 이미지에 대한 특징 개선만을 고려하여 쿼리 및 상위 랭킹 이미지의 전역 특징을 업데이트하는 새로운 방법을 도입함으로써 매우 효율적인 계산 및 메모리 사용을 달성한다. 실험 결과, 기존 최고 성능 기준과 비교하여 상당한 성능 향상이 확인되었다. 특히 Revisited Oxford+1M Hard 데이터셋에서 단일 단계 결과는 7.1% 향상되었으며, 두 단계 설정에서는 3.7%의 성능 향상과 함께 64,865배의 속도 향상을 달성하였다. 두 단계 시스템은 기존 단일 단계 최고 성능 시스템을 16.3% 초과하며, 최소한의 시간 오버헤드로 고성능 이미지 검색 시스템에 대해 확장 가능하고 정확한 대안을 제시한다. 코드: https://github.com/ShihaoShao-GH/SuperGlobal.