一句话总结

斯坦福大学的研究者推出了SQuAD，一个包含超过10万个众包问题的大规模阅读理解数据集，问题基于维基百科文章，答案以文本片段形式给出，并展示了一个逻辑回归模型，取得了$51.0\%$51.0%的$F_1$F1​分数（相比$20\%$20%的基线有显著提升），而人类表现为$86.8\%$86.8%，从而设立了一个具有挑战性的基准。

核心贡献

• 推出了斯坦福问答数据集（SQuAD），包含536篇维基百科文章上的107,785个众包问答对，每个答案都是原文中的一个文本片段。
• 基于依存树距离的自动技术对答案类型进行分类，并根据难度对问题进行分层，揭示了多样化的推理模式。
• 一个结合词汇化和依存路径特征的逻辑回归模型取得了51.0%的F1分数，而人类性能为86.8% F1，凸显了阅读理解的一个具有挑战性的基准。

引言

阅读理解要求机器理解自然语言和世界知识，但可用数据集的限制阻碍了进展：高质量的小规模集合缺乏现代数据驱动模型所需的规模，而大规模集合则是半合成的，无法反映真实的问答模式。为解决这一差距，研究者推出了斯坦福问答数据集（SQuAD），这是一个大规模人工整理的集合，包含超过10万个基于维基百科文章的问答对，每个答案都是从原文中直接抽取的片段。这种设计迫使系统在众多候选中进行选择，而不依赖于多项选择选项，并且该数据集揭示了多样化、分层的问题类型，这对于传统的基于特征的方法和神经模型来说仍然具有挑战性，人类性能依然远高于最佳系统。

数据集

SQuAD数据集基于英文维基百科文章构建，专为基于片段的阅读理解设计。研究者收集文章段落，众包生成问答对，然后收集额外答案用于评估。以下是数据集的组成、处理和使用方式的简要概述。

• 来源与段落整理

  • 从内部PageRank排名前10,000的英文维基百科文章开始，随机抽取536篇文章。
  • 从每篇文章中提取独立段落，移除图片、图表和表格，并丢弃任何少于500个字符的段落，最终得到23,215个涵盖不同主题的段落。
  • 将段落随机分为训练集（80%）、开发集（10%）和测试集（10%）。

• 主要问答收集

  • 通过Amazon Mechanical Turk（通过Daemo平台）的众包工作者一次展示一个段落，要求他们写出最多5个问题，并在段落中高亮准确的答案片段。
  • 为了鼓励词汇多样性，提示工作者使用自己的词语，并禁用从段落中复制粘贴。

• 用于稳健评估的附加答案

  • 对于开发集和测试集中的每个问题，至少由另外两名众包工作者提供额外的答案片段。他们选择回答问题的最短片段，或者将问题标记为无法回答（2.6%的问题被至少一位附加工作者标记为无法回答）。
  • 这使得每个问题有多个参考答案，允许使用精确匹配和宏平均F1进行评估。

• 处理与元数据

  • 段落是纯文本：所有非文本元素（图片、表格、图表）被移除。
  • 计算一个句法差异度量（从共享锚点分别到wh-词和答案片段的未词汇化依存路径的编辑距离），用于后续分析（第6.3节）中按难度分层测试集。
  • 答案类型自动标注（日期、数字、人物、地点、其他专有名词、普通名词、形容词短语等），以提供多样性统计。

• 数据的使用方式

  • 训练集用于训练模型，在给定段落和问题的情况下预测答案片段。
  • 开发集用于模型选择，测试集用于最终评估，利用多个参考答案计算稳健的分数。
  • 研究者还手动标注了部分开发集问题的推理类别（句法差异、词汇变化等），以分析模型行为，但这些标签不属于标准训练语料库。

方法

研究者将答案抽取视作基于单个句子的片段选择任务，利用成分句法分析生成候选答案片段。他们不是考虑长度为$L$L的句子中所有$O(L^2)$O(L2)个可能的片段，而是将候选范围限制在由Stanford CoreNLP成分分析器产生的句法成分上。在开发集中，77.3%的真实答案恰好与一个成分对齐；当答案不匹配任何成分时，使用包含它的最短成分作为训练目标。这一剪枝步骤显著减少了候选空间，并为基线和逻辑回归模型提供了引导。

作为基线，采用了一个滑动窗口方法。对每个候选答案，计算问题与包含该候选的句子（不包括候选本身）之间的unigram和bigram重叠度。保留重叠度最大的候选，并通过Richardson等人（2013）的滑动窗口方法选择最佳答案，该方法经过调整后以句子级别而非全文段落级别运行以提高效率。还实现了一个基于距离的扩展。

核心方法是一个逻辑回归模型，它使用一组丰富的离散特征为每个候选答案评分。每个连续特征被分桶到10个等大小的箱中，产生大约1.8亿个特征，其中许多是词汇化的或源自依存树路径。特征集包括匹配词语和bigram频率、根匹配指示器、长度特征、片段词频、成分标签和片段POS标签。词汇化特征处理词汇变化，而依存路径特征处理句法变化。模型使用多项对数似然损失进行训练，并通过AdaGrad优化（初始学习率0.1）。为了效率，更新在批次上进行，这些批次将所有属于同一段落的问题分组，因为它们共享候选片段。使用$L_2$L2​正则化系数$0.1 / \text{批次数}$0.1/批次数，模型在训练数据上训练三遍。训练后，选择得分最高的候选作为预测答案片段。

实验

评估使用精确匹配和宏平均F1，忽略标点符号和冠词；人类测试性能达到77.0%精确匹配和86.8% F1，不匹配主要源于非必要的短语边界选择。逻辑回归模型优于基线，但仍未达到人类分数，特征消融实验表明词汇化和依存路径特征最为关键。模型在日期和数字上的准确率最高，对于其他答案类型以及句法差异增大时性能下降，而人类性能不受句法差异影响，表明人类具有更稳健的理解能力。

SQuAD在规模上仅低于半合成的填空式CNN/Daily Mail语料库，是最大的众包开放式片段答案阅读理解数据集。其自由形式的问答风格类似于TREC-QA，但被实现为片段预测任务，与其他数据集的多项选择和句子选择格式形成对比。SQuAD（100K问题）比所有手工整理的数据集大几个数量级；只有半合成的CNN/Daily Mail（1.4M）更大。虽然MCTest和Science使用多项选择，SQuAD要求模型抽取特定片段，使其更像TREC-QA的自由形式回答，更加开放。

数据集中的答案类型范围广泛，超出了命名实体。数字和专有名词答案合计约占数据的一半，而普通名词短语是最大的单一类别。模型在日期和数字上表现最佳，在命名实体上较为吃力，在占数据集近一半的其他答案类型上表现最弱，而人类在所有类别上都保持高准确率，仅在非实体答案上有轻微下降。普通名词短语和专有名词类别各约占答案的三分之一，而日期和其他数字答案约占五分之一。模型在日期和数字上取得最高性能，因为这些类别的候选答案较少且通常为单个token。人物、地点和其他实体等命名实体对模型来说具有一定挑战性，但仍受益于明确的POS标签特征。其余答案类型，包括普通名词短语、形容词短语和从句，共占数据的47.6%，是模型最困难的部分。人类在非实体答案上的性能仅轻微下降，与模型的大幅下降形成对比，表明人类对答案类型多样性具有鲁棒性。

对192个SQuAD问题的手动标注显示，每个例子都涉及问题与答案句子之间的词汇或句法差异。句法变化是最常见的推理挑战，影响64.1%的问题，而词汇同义出现在33.3%的问题中。这强调了数据集侧重于表层形式不匹配，而非深层推理。每个被标注的问题都表现出某种形式的词汇或句法差异。句法变化是最常见的推理类型，存在于64.1%的抽样问题中。

逻辑回归模型结合了表层匹配特征（词语/bigram重叠和根匹配）来识别支持句，长度和片段频率特征来偏置答案片段的选择，成分和POS标签特征来引导模型选择适当的答案类型。消融结果表明，词汇化和依存树路径特征对性能最为关键，依存路径在本数据集中的作用尤为突出。匹配词语频率、bigram频率和根匹配特征帮助模型选择正确的句子。长度特征使模型偏向常见的答案片段长度和位置，而片段词频则惩罚无信息含量的词语。成分标签和片段POS标签特征引导模型选择正确的答案类型。词汇化特征和依存树路径特征对整体性能最重要，其中依存路径的贡献比先前工作中更大。

逻辑回归显著优于基线，在测试集上精确匹配达到40.4%，而最佳基线仅为12.5%，但仍远低于人类的77.0%。模型在79.3%的情况下能识别出正确的句子，表明主要挑战在于抽取精确的答案片段。人类对句法差异具有鲁棒性，而模型的准确率随差异增大而下降。逻辑回归在测试集上达到40.4%精确匹配和51.0% F1，而最强基线为12.5%和19.7%。人类测试性能（77.0%精确匹配，86.8% F1）明显更高，模型的主要困难是在找到正确句子后精确选择片段。

评估将逻辑回归模型应用于SQuAD，这是一个大规模片段抽取阅读理解数据集，其特点是问题与段落之间普遍存在词汇和句法差异，其中句法变化是主要的推理挑战。消融研究表明，依存路径和词汇化特征对性能最为关键，虽然模型显著优于滑动窗口基线，但其主要不足在于正确识别支持句后抽取精确的答案片段。模型准确率因答案类型而异，在日期和数字上表现最佳，而在普通名词短语和其他非实体答案上较为吃力，而人类在所有类别上保持稳定的性能。