쿼리뱅크 정규화를 이용한 크로스 모달 검색

대규모 학습 데이터셋, 신경망 아키텍처 설계의 발전 및 효율적인 추론 기술의 발전을 바탕으로, 통합 임베딩( joint embeddings)은 다중 모달 검색 문제를 해결하는 주류 접근법으로 자리 잡았다. 본 연구에서는 최첨단 통합 임베딩 기술이 여전히 오랜 기간 동안 지속되어 온 ‘허브 문제(hubness problem)’에 심각하게 취약함을 처음으로 지적한다. 이 문제는 많은 쿼리의 가장 가까운 이웃으로 몇몇 갤러리 임베딩만이 반복적으로 나타나는 현상을 의미한다. 자연어 처리(NLP) 분야의 기존 연구에서 영감을 얻어, 임베딩 공간 내 허브 현상을 고려하여 쿼리 유사도를 재정규화하는 간단하면서도 효과적인 프레임워크인 Querybank Normalisation(QB-Norm)을 제안한다. QB-Norm은 재학습 없이도 검색 성능을 향상시킬 수 있다. 기존의 연구와 달리, 본 연구는 QB-Norm이 테스트 세트 쿼리에 동시 접근하지 않아도 효과적으로 작동함을 보여준다. QB-Norm 프레임워크 내에서, 기존 방법보다 훨씬 더 강건한 새로운 유사도 정규화 방법인 Dynamic Inverted Softmax를 제안한다. 다양한 다중 모달 검색 모델과 벤치마크에서 QB-Norm의 효과를 검증한 결과, 기존 최고 수준의 기준 모델을 초월하는 일관된 성능 향상이 나타났다. 코드는 https://vladbogo.github.io/QB-Norm/ 에 공개되어 있다.