NarrativeQA阅读理解挑战

阅读理解（RC）——与信息检索不同——需要整合全文中的信息并对事件、实体及其关系进行推理。在评估人工代理和儿童学习阅读的阅读理解能力时，通常使用问题回答。然而，现有的阅读理解数据集和任务主要由可以通过表面信息（例如局部上下文相似性或全局词频）选择答案的问题主导；因此，它们未能测试阅读理解的核心整合方面。为了促进对语言更深层次的理解，我们介绍了一个新的数据集和一系列任务，其中读者必须通过阅读整本书或电影剧本来回答关于故事的问题。这些任务的设计目的是成功回答问题需要理解底层叙事，而不仅仅是依赖浅层模式匹配或显著性。我们展示了虽然人类可以轻松解决这些任务，但标准的阅读理解模型在这些任务上表现不佳。我们还提供了对数据集及其所面临的挑战的分析。