오픈 도메인 질의 응답을 위한 다중 문서 리더 및 리트리버의 엔드투엔드 훈련

다중 검색 문서에서 정보를 통합하여 답변을 생성하는 검색 증강형 개방형 질의응답 시스템을 위한 엔드투엔드 미분 가능한 학습 방법을 제안한다. 우리는 검색 결정을 주어진 질문에 대한 관련 문서 집합 위의 은닉 변수로 모델링한다. 검색된 문서 집합에 대한 마진화는 계산적으로 어려우므로 기대최대화(Expectation-Maximization) 알고리즘을 활용해 이를 근사한다. 본 방법은 반복적으로 은닉 변수(즉, 특정 질문에 해당하는 관련 문서 집합)의 값을 추정한 후, 이 추정값을 이용해 검색기(retriever)와 독해기(reader)의 파라미터를 업데이트한다. 우리는 이러한 엔드투엔드 학습이 단계별 학습보다 독해기로의 학습 신호가 더 효과적으로 전달되도록 해줄 것이라 가정한다. 그 결과, 질문에 더 관련성 높은 문서를 선택할 수 있는 검색기와, 보다 정확한 문서를 기반으로 답변을 생성하도록 학습된 독해기가 도출된다. 세 가지 벤치마크 데이터셋에서의 실험 결과, 제안한 방법은 크기가 유사한 기존 모든 접근 방식보다 절대 정확도(exact match) 기준으로 2~3% 향상시키며, 새로운 최고 성능을 달성하였다. 또한 본 연구 결과는 검색 결정에 대한 명시적 감독 없이도 검색 능력을 학습함으로써 답변 생성 성능을 향상시키는 것이 가능함을 입증한다.