DRAGON 훈련하는 법: 일반화 가능한 밀집 검색을 위한 다각적 증강

최근 몇 년간 밀도 높은 검색(DR)의 성능을 향상시키기 위한 다양한 기술이 개발되어 왔다. 예를 들어 비지도 대조 학습과 가상 쿼리 생성 기법 등이 있다. 그러나 기존의 DR 모델들은 지도 학습 기반 검색과 제로샷 검색 간에 성능 간극이 존재하는 경우가 많으며, 일부 연구자들은 이 현상이 모델의 용량 한계 때문이라고 주장해왔다. 그러나 우리는 이러한 가설에 반대하며, 모델 크기를 늘리지 않아도 지도 학습 및 제로샷 검색 모두에서 높은 정확도를 달성할 수 있는 일반화 가능한 DR 모델을 학습할 수 있음을 보여준다. 특히 본 연구에서는 데이터 증강(DA) 프레임워크 하에서 DR의 대조 학습을 체계적으로 분석한다. 분석 결과, 생성 모델을 활용한 쿼리 증강이나 크로스 인코더를 이용한 가상 관련성 레이블 생성과 같은 일반적인 DA 전략들이 종종 비효율적이고 최적의 성능을 내지 못함을 확인하였다. 따라서 우리는 다양한 쿼리와 다양한 감독 신호를 활용하는 새로운 DA 접근법을 제안하며, 이를 통해 점진적으로 일반화 가능한 DR 모델을 학습한다. 그 결과, 다양한 증강 기법을 적용해 학습한 DRAGON은 BERT-base 크기의 DR 중에서 지도 학습 및 제로샷 평가 모두에서 최고 수준의 성능을 달성한 최초의 모델이 되었으며, 더 복잡한 후기 상호작용(예: ColBERTv2 및 SPLADE++)을 사용하는 모델들과도 경쟁할 수 있는 수준에 이르렀다.