엔티티 중심 질문에 대한 제로샷 신경망 검색에 동결된 사전학습된 언어 모델을 사용할 수 있는가?

신경망 문서 검색기, 특히 밀도 있는 문단 검색(DPR)은 특정 질문-응답 데이터셋에서 미세조정(fine-tuning)을 거친 후 평가되었을 때, 기존의 전통적인 어휘 매칭 기반 검색기(BM25 등)보다 우수한 성능을 보였다. 그러나 기존의 밀도 검색기들이 도메인 외부뿐 아니라 도메인 내부(예: 위키백과)에서도 일반화 능력이 떨어지는 것으로 나타났으며, 특히 질문에 등장하는 명명된 실체(named entity)가 검색의 주요 단서가 되는 경우 더욱 두드러졌다. 본 논문에서는 도메인 내에서의 일반화를 향한 접근법을 제안한다. 이 방법은 도메인 내 실체(entity)로 미리 훈련된 고정된 언어 모델(frozen language model)이 생성한 임베딩(embeddings)을 활용한다. 미세조정을 하지 않고도, 사전 훈련된 언어 모델 내에 포함된 풍부한 지식이 검색 작업에 활용될 수 있음을 탐구한다. 제안하는 방법은 위키백과 도메인 내 실체 중심 질문에 대해 기존 DPR보다 뛰어난 성능을 보이며, BM25 및 최첨단 SPAR 모델과 거의 유사한 성능을 달성한다. 또한 실체 이름이 흔한 단어들로 구성되어 있을 경우, 맥락적 키(contextualized keys)를 사용함으로써 BM25에 비해 뚜렷한 성능 향상을 얻을 수 있음을 보여준다. 본 연구 결과는 DPR이 성능을 발휘하기 어려운 위키백과 도메인의 실체 중심 질문에 대해 제로샷(zero-shot) 검색 방법의 실현 가능성을 입증한다.