이미지 검색 재순위화 이해: 그래프 신경망의 관점

재순위 결정(re-ranking) 접근 방식은 높은 신뢰도를 가진 검색된 샘플을 활용하여 검색 결과를 개선하는 방법으로, 이미지 검색 작업의 후처리 도구로 널리 채택되어 왔습니다. 그러나 우리는 재순위 결정의 주요 결함 하나, 즉 높은 계산 복잡성에 주목하였습니다. 이는 실제 응용 프로그램에서 부담스러운 시간 비용을 초래합니다. 본 논문에서는 재순위 결정을 다시 살펴보고, 이를 고병렬성 그래프 신경망(Graph Neural Network, GNN) 함수로 재정식화할 수 있음을 보여줍니다.특히, 기존의 재순위 결정 과정을 두 단계로 나누어 수행합니다. 첫 번째 단계는 고품질 갤러리 샘플을 검색하는 것이며, 두 번째 단계는 특징을 업데이트하는 것입니다. 우리는 첫 번째 단계가 k-최근접 이웃 그래프를 구축하는 것과 같다고 주장하며, 두 번째 단계는 그래프 내에서 메시지를 전파하는 것으로 볼 수 있다고 합니다. 실제로 GNN은 연결된 엣지(edge)만 있는 정점(vertex)에 대해 고려하면 됩니다. 그래프가 희소(sparse)하기 때문에, 우리는 효율적으로 정점 특징을 업데이트할 수 있습니다.Market-1501 데이터셋에서 한 개의 K40m GPU를 사용하여 재순위 결정 처리 시간을 89.2초에서 9.4밀리초로 가속화하였습니다. 이는 실시간 후처리를 용이하게 만듭니다. 유사하게, 다른 네 개의 이미지 검색 벤치마크(VeRi-776, Oxford-5k, Paris-6k 및 University-1652)에서도 제한적인 시간 비용으로 우리의 방법이 동등하거나 더 우수한 검색 결과를 제공함을 확인하였습니다. 우리의 코드는 공개적으로 이용 가능합니다.