2 个月前

查询缩减网络在问答中的应用

Minjoon Seo; Sewon Min; Ali Farhadi; Hannaneh Hajishirzi
查询缩减网络在问答中的应用
摘要

本文研究了在需要对多个事实进行推理时的问题回答问题。我们提出了一种查询缩减网络(Query-Reduction Network, QRN),这是循环神经网络(Recurrent Neural Network, RNN)的一种变体,能够有效处理短期(局部)和长期(全局)的序列依赖关系,从而对多个事实进行推理。QRN将上下文句子视为一系列状态变化触发器,并随着时间观察每个触发器(上下文句子),逐步将原始查询缩减为更加有信息量的查询。实验结果表明,QRN在bAbI问答和对话任务中取得了最先进的成果,并在一个真实的目标导向对话数据集中也表现优异。此外,QRN的公式允许在RNN的时间轴上进行并行化处理,从而在训练和推理过程中节省了一个数量级的时间复杂度。

查询缩减网络在问答中的应用 | 论文 | HyperAI超神经