令人沮丧的简单自然语言问答

现有问答（Question Answering, QA）领域的文献大多聚焦于算法创新、数据增强，或日益庞大的预训练语言模型（如XLNet和RoBERTa）。此外，许多在QA排行榜上表现优异的系统缺乏相应的研究文档，导致其实验难以被成功复现。本文系统地阐述了若干关键算法组件，例如“注意力机制上的注意力”（Attention-over-Attention），并结合数据增强与集成学习策略，这些方法在SQuAD等基准数据集上已展现出顶尖性能，甚至达到超越人类的表现。然而，与此前成果形成鲜明对比的是，当我们转而评估最近提出的Natural Questions基准数据集时，发现仅采用从BERT进行迁移学习的极简方法，便在F1分数上超越了此前状态最先进系统1.9分，而该系统所使用的训练样本比我们的多出400万条。进一步引入集成学习策略后，性能再提升2.3个F1分数。