9 天前
精彩问题及其发现之处：童话故事QA——一项用于叙事理解的真实数据集
Ying Xu, Dakuo Wang, Mo Yu, Daniel Ritchie, Bingsheng Yao, Tongshuang Wu, Zheng Zhang, Toby Jia-Jun Li, Nora Bradford, Branda Sun, Tran Bao Hoang, Yisi Sang, Yufang Hou, Xiaojuan Ma, Diyi Yang, Nanyun Peng, Zhou Yu, Mark Warschauer
摘要
问答（Question Answering, QA）是评估和训练机器及学龄前至小学阶段儿童叙事理解能力的一种基础手段，然而目前仍缺乏为该目的精心设计的高质量QA数据集。尤其值得注意的是，现有数据集很少对细粒度阅读能力进行区分，例如对不同类型叙事元素的理解能力。基于阅读教育领域的研究成果，我们提出了FairytaleQA——一个面向幼儿园至八年级学生的叙事理解专用数据集。该数据集由教育专家依据实证理论框架构建，共包含来自278篇适合儿童阅读的故事的10,580个显性与隐性问题，覆盖七类叙事元素或关系。FairytaleQA具有双重价值：其一，我们在该数据集上测试了现有QA模型，结果表明该标注体系有助于评估模型在细粒度学习方面的表现；其二，该数据集可支持教育领域内的问题生成（Question Generation, QG）任务。通过与多种QG模型进行基准对比，我们发现基于FairytaleQA训练的QG模型能够生成质量更高、多样性更强的问题。