초록
정보 검색(task of information retrieval)은 오픈 도메인 질의 응답과 같은 다양한 자연어 처리 시스템에서 중요한 구성 요소이다. 기존의 전통적 방법은 수작업으로 설계된 특징(feature)에 기반하였으나, 최근에는 신경망 기반의 연속적 표현(continuous representations)이 경쟁적인 성능을 보이고 있다. 이러한 방법을 사용할 때의 도전 과제는 검색 모델을 학습하기 위해 질의(query)와 지원 문서(support documents) 쌍에 해당하는 감독 데이터(supervised data)를 확보하는 것이다. 본 논문에서는 지식 증류(knowledge distillation)에 영감을 받아, 질의와 문서 쌍의 주석(annotation)이 필요 없는 검색 모델 학습 기법을 제안한다. 제안하는 방법은 검색된 문서를 기반으로 작업을 해결하는 독해 모델(reader model)의 주의 점수(attention scores)를 활용하여 검색 모델에 대한 합성 레이블(synthetic labels)을 생성한다. 제안한 방법은 질의 응답(task)에 대해 평가하여 최신 기술(SOTA, state-of-the-art) 수준의 성능을 달성하였다.