开放域问答中的多文档阅读器与检索器端到端训练

我们提出了一种用于检索增强型开放域问答系统的端到端可微训练方法，该方法在生成答案时能够整合来自多个检索文档的信息。我们将检索决策建模为相关文档集合上的隐变量。由于对检索文档集合进行边缘化计算复杂度极高，我们采用期望最大化（Expectation-Maximization）算法对其进行近似。该方法通过迭代估计隐变量的值（即给定问题的相关文档集合），并利用该估计结果更新检索器与阅读器的参数。我们假设，这种端到端的训练方式能够使训练信号更有效地从阅读器反向传播至检索器，相较于分阶段训练更具优势。由此带来的结果是：检索器能够为问题选择出更相关的文档，而阅读器则基于更准确的文档进行训练，从而生成更优的答案。在三个基准数据集上的实验表明，所提出的方法在与现有同类规模方法对比时，绝对精确匹配（exact match）指标提升2-3个百分点，达到了新的最先进水平。此外，我们的实验结果还验证了无需显式监督检索决策即可通过学习优化检索过程以提升答案生成质量的可行性。