NarrativeQA 읽기 이해 도전 과제

독서 이해(RC)는 정보 검색과 달리 문서 전체에 걸쳐 사건, 개체 및 그 관계를 통합하고 추론하는 능력을 필요로 합니다. 질문 응답은 인공 에이전트와 읽기 학습 중인 어린이 모두의 RC 능력을 평가하는 데 전통적으로 사용되어 왔습니다. 그러나 기존의 RC 데이터셋과 작업은 표면적인 정보(예: 국지적 맥락 유사성 또는 전역적 용어 빈도)를 사용하여 답변을 선택함으로써 해결할 수 있는 질문들로 주로 구성되어 있어, RC의 본질적인 통합 측면을 테스트하지 못합니다. 언어의 더 깊은 이해를 촉진하기 위해, 우리는 독자가 전체 책이나 영화 대본을 읽어야만 이야기에 대한 질문에 답할 수 있는 새로운 데이터셋과 작업 세트를 제시합니다. 이 작업들은 성공적으로 질문에 답하기 위해서는 얕은 패턴 매칭이나 주목성에 의존하는 것이 아니라 근본적인 서사 구조를 이해해야 함을 목표로 설계되었습니다. 우리는 인간이 이 작업들을 쉽게 해결하지만, 표준 RC 모델들이 여기에서 제시된 작업들에서 어려움을 겪는다는 것을 보여주었습니다. 또한, 이 데이터셋이 제공하는 분석과 그것이 제기하는 도전 과제들을 소개합니다.