읽기 + 검증: 답이 없는 질문을 포함한 기계 독해 이해

기계 독해에서 답변 불가능한 질문을 다루는 목표는 답변이 추론될 수 없을 때 답변하지 않는 것입니다. 기존 연구에서는 주로 답변을 추출하는 것 외에도 추가적인 "답변 불가" 확률을 예측하여 답변 불가능한 경우를 감지하였습니다. 그러나 이러한 방법들은 예측된 답변의 타당성을 검증하여 질문의 답변 가능성을 확인하지 못하였습니다. 이 문제를 해결하기 위해, 우리는 신경망 리더(neural reader)를 활용하여 후보 답변을 추출하고 "답변 불가" 확률을 생성하며, 입력 조각(snippets)으로부터 예측된 답변이 유도되는지를 결정하는 답변 검증기(answer verifier)를 활용하는 새로운 읽고-검증(read-then-verify) 시스템을 제안합니다. 또한, 리더가 더 나은 답변 추출과 "답변 불가" 감지를 수행할 수 있도록 두 가지 보조 손실(auxiliary losses)을 도입하였으며, 세 가지 다른 아키텍처를 사용하여 답변 검증기를 연구하였습니다. SQuAD 2.0 데이터셋에 대한 실험 결과, 제안된 시스템은 테스트 세트에서 74.2 F1 점수를 달성하였으며, 제출 시점(2018년 8월 28일)에 최신 연구 결과(state-of-the-art results)를 달성하였습니다.