비지도 밀집 정보 검색을 위한 대조 학습

최근 정보 검색 분야에서는 단어 빈도 기반의 전통적인 희소 방법 대신 신경망을 활용한 밀도형 검색기(dense retrievers)의 등장이 두드러지고 있다. 이러한 모델들은 대규모 학습 데이터가 존재하는 데이터셋 및 작업에서 최신 기술 수준의 성능을 달성하고 있다. 그러나 새로운 응용 분야에 대해서는 학습 데이터가 없을 경우 전이 성능이 낮으며, BM25와 같은 비지도 단어 빈도 기반 방법에 비해 성능이 열등하다. 본 연구에서는 대조 학습(contrastive learning)이 비지도 밀도형 검색기를 학습하는 데 있어 가지는 한계를 탐구하고, 다양한 검색 환경에서 뛰어난 성능을 달성할 수 있음을 보여준다. BEIR 벤치마크에서 우리의 비지도 모델은 Recall@100 기준으로 15개 데이터셋 중 11개에서 BM25를 상회한다. 또한, 소수의 도메인 내 예제(수천 개) 또는 대규모 MS~MARCO 데이터셋에서 미세 조정(fine-tuning) 전에 사전 학습(pre-training)으로 사용할 경우, BEIR 벤치마크에서 성능 향상이 이루어진다. 마지막으로, 영어보다도 학습 데이터가 더욱 부족한 다국어 검색 환경에서 본 방법의 성능을 평가한 결과, 강력한 비지도 성능을 보여주었다. 특히, 감독 학습을 통해 영어 데이터만으로 미세 조정된 모델이 스와힐리어와 같은 저자원 언어에 대해 평가되었을 때도 강력한 다국어 전이 성능을 보였다. 또한, 본 모델이 영어 문서를 아랍어 쿼리로부터 검색하는 등 서로 다른 문자 체계 간의 다국어 검색을 수행할 수 있음을 입증하였다. 이는 단어 매칭 기반 방법으로는 불가능한 사례이다.