基于研究论文的信息查询类问题与答案数据集

学术研究论文的读者在阅读时常怀有明确的问题目标。能够回答这些具体问题的问答系统，可显著提升内容的阅读效率。然而，构建此类工具需要反映论文中多部分信息之间复杂推理所带来的任务难度的真实数据。相比之下，现有的信息检索型问答数据集通常包含关于通用事实性信息的问题。为此，我们提出了QASPER，一个涵盖1,585篇自然语言处理（Natural Language Processing, NLP）论文的问答数据集，共包含5,049个问题。每个问题均由一位NLP从业者在仅阅读对应论文标题和摘要的基础上提出，其关注的信息均存在于论文全文中。随后，由另一组独立的NLP从业者对这些问题进行作答，并提供支持答案的证据。实验结果表明，现有在其他问答任务中表现优异的模型在QASPER上的表现较差，其F1分数相较人类答题者至少低27分，凸显了该任务的挑战性。这一结果进一步推动了面向文档支撑、信息检索型问答的深入研究，而QASPER数据集正是为此类研究量身设计的。