초록
인간은 서로 연결된 질문과 답변을 포함하는 대화를 통해 정보를 수집합니다. 기계가 정보 수집을 돕기 위해서는 대화형 질문에 답할 수 있도록 하는 것이 필수적입니다. 우리는 대화형 질문-답변 시스템을 구축하기 위한 새로운 데이터셋인 CoQA를 소개합니다. 이 데이터셋은 7개의 다양한 분야에서 텍스트 문단에 대한 8,000건의 대화에서 얻은 127,000개의 질문과 답변을 포함하고 있습니다. 질문들은 대화형이며, 답변들은 해당 패시지에서 강조 표시된 증거와 함께 자유 형식의 텍스트로 제공됩니다. 우리는 CoQA를 깊이 분석하여 기존의 읽기 이해 데이터셋에는 없는 코레퍼런스(공동참조) 및 실용적 추론 등의 어려운 현상을 보여줍니다. 또한 강력한 대화형 및 읽기 이해 모델들을 CoQA에서 평가하였습니다. 최고 성능의 시스템은 F1 점수가 65.4%로, 인간의 성능(88.8%)보다 23.4포인트 낮아 개선 여지가 충분함을 나타냅니다. 우리는 CoQA를 커뮤니티에게 도전 과제로 제시하며, 자세한 내용은 http://stanfordnlp.github.io/coqa/ 에서 확인할 수 있습니다.