대규모 듀얼 인코더는 일반화 가능한 검색기이다.

일반적으로 하나의 도메인에서 훈련된 이중 인코더(dual encoder) 모델은 다른 도메인으로의 일반화에 실패하는 것으로 알려져 있다. 이에 대한 널리 퍼진 믿음은, 이중 인코더의 병목(bottleneck) 레이어가 쿼리 벡터와 문단 벡터 간의 단순한 내적(dot-product)으로 최종 점수를 계산하기 때문에, 도메인 외 일반화(out-of-domain generalization)를 위한 효과적인 검색 모델로는 부적합하다는 것이다. 본 논문에서는 이 견해에 도전하며, 병목 임베딩 크기를 고정한 채로 이중 인코더 모델의 크기를 확장하는 방식을 제안한다. 다단계 훈련(multi-stage training)을 통해 놀랍게도 모델 크기를 확장함으로써 다양한 검색 작업에서 상당한 성능 향상을 얻을 수 있었으며, 특히 도메인 외 일반화 성능에서 두드러진 개선이 나타났다. 실험 결과, 본 연구에서 제안한 이중 인코더 모델인 \textbf{G}eneralizable \textbf{T}5-based dense \textbf{R}etrievers (GTR)는 BEIR 데이터셋~\cite{thakur2021beir}에서 ColBERT~\cite{khattab2020colbert} 및 기존의 스퍼스(sparse) 및 디ensa(dense) 검색 모델들을 크게 능가함을 보였다. 가장 놀라운 점은, 제안한 추론 실험(ablation study)에서 GTR 모델이 매우 높은 데이터 효율성을 가지며, MS MARCO의 감독 데이터 중 단 10%만으로도 최고의 도메인 외 성능을 달성할 수 있다는 점이다. 모든 GTR 모델은 https://tfhub.dev/google/collections/gtr/1 에 공개되어 있다.