R$^3$: 강화된 오픈 도메인 질문 응답을 위한 리더-랭커

최근 몇 년 동안 연구자들은 신경망 방법을 질문 응답(QA)에 적용하여 상당한 성공을 거두었습니다. 이러한 접근 방식은 SQuAD (Rajpurkar 등, 2016) 데이터셋과 같은 단순화된 폐쇄형 도메인 설정에서 최고 수준의 결과를 달성하였습니다. SQuAD 데이터셋은 주어진 질문에 대한 답변을 추출할 수 있는 사전 선택된 본문을 제공합니다. 최근에는 연구자들이 사전 선택된 본문 대신 큰 규모의 문헌(예: 위키백과)과 질문이 주어지는 개방형 도메인 QA를 다루기 시작했습니다 (Chen 등, 2017a). 이 설정은 관련 본문을 대규모로 검색해야 하는 정보 검색 구성 요소와 함께, 본문을 '읽어서' 질문에 대한 답변을 생성하는 독해 모델이 필요하기 때문에 더 복잡합니다. 이 설정에서의 성능은 폐쇄형 도메인 성능보다 크게 뒤떨어집니다.본 논문에서는 두 가지 알고리즘 혁신 기반으로 제안되는 새로운 개방형 도메인 QA 시스템인 강화 학습 기반 순위 지정-독해 모델(Reinforced Ranker-Reader, $R^3$)을 소개합니다. 첫째, 주어진 질문에 대한 실제 답변 생성 가능성에 따라 검색된 본문들을 순위 지정하는 Ranker 구성 요소를 포함하는 새로운 개방형 도메인 QA 파이프라인을 제안합니다. 둘째, Ranker와 답변 생성용 Reader 모델을 강화 학습 기반으로 공동 훈련시키는 새로운 방법론을 제안합니다. 우리는 실험 결과를 광범위하게 보고하며, 이 결과들은 우리의 방법론이 여러 개방형 도메인 QA 데이터셋에서 최첨단 수준의 성능을 크게 개선함을 보여줍니다.