R$^3$: 强化阅读者-排序器用于开放领域问答

近年来，研究人员在将神经网络方法应用于问答（QA）系统方面取得了显著成功。这些方法在简化封闭域设置中（如SQuAD数据集[Rajpurkar等人，2016]），该数据集提供了一段预选的文本，从中可以提取出给定问题的答案，已经达到了最先进的水平。最近，研究人员开始着手解决开放域问答问题，其中模型不仅接收一个问题，还能够访问大型语料库（例如维基百科）而不是一段预选的文本（Chen等人，2017a）。这种设置更为复杂，因为它需要信息检索组件进行大规模的相关段落搜索，并结合一个阅读理解模型来“阅读”这些段落以生成答案。在这种设置下的性能明显落后于封闭域问答的性能。本文介绍了一种新颖的开放域问答系统——强化排序-阅读器（Reinforced Ranker-Reader, $R^3$），该系统基于两项算法创新。首先，我们提出了一种新的开放域问答流水线，其中包括一个排序组件（Ranker），该组件学习根据生成给定问题真实答案的可能性对检索到的段落进行排序。其次，我们提出了一种基于强化学习的新方法，该方法联合训练排序器和答案生成阅读器模型（Reader）。我们报告了广泛的实验结果，表明我们的方法在多个开放域问答数据集上显著优于现有技术水平。