간단한 엔티티 중심 질문이 밀도 검색기(Dense Retrievers)에 도전한다

최근 밀도 높은 검색 모델의 성공으로 인해 개방형 질문 응답(open-domain question answering)이 급격히 인기를 끌고 있다. 이러한 모델들은 몇 개의 지도 학습 예시만으로도 기존의 희소 모델을 뛰어넘는 성능을 보여주고 있다. 그러나 본 논문에서는 현재의 밀도 높은 모델이 여전히 검색의 ‘성스러운 그림자(heavenly grail)’가 아니라는 점을 입증한다. 먼저, 위키데이터(Wikidata)의 사실을 기반으로 한 간단하면서 엔티티가 풍부한 질문들로 구성된 ‘EntityQuestions’ 데이터셋을 구축하였고, 그 결과 밀도 높은 검색 모델이 희소 방법에 비해 크게 성능이 떨어지는 것을 관찰하였다. 이 문제를 조사한 결과, 밀도 높은 검색 모델이 훈련 중에 질문 패턴을 명시적으로 관찰하지 않은 경우, 일반적인 엔티티에 대해서만 일반화가 가능하다는 점을 발견하였다. 이 중요한 문제를 해결하기 위한 두 가지 간단한 접근 방식을 제안한다. 첫째, 데이터 증강(data augmentation)이 일반화 문제를 해결하는 데 효과적이지 않음을 실험적으로 입증한다. 둘째, 전용 질문 인코더를 사용함으로써 보다 강력한 문서 인코더(passage encoder)가 질문 적응(question adaptation)을 향상시키는 데 기여할 수 있다고 주장한다. 본 연구가 다양한 입력 분포에 걸쳐 잘 작동하는 강건하고 보편적인 밀도 높은 검색 모델을 개발하는 데 직면한 도전 과제에 대한 통찰을 제공하기를 기대한다.