9 天前

长文档上复杂问题回答的迭代分层注意力机制

Haitian Sun, William W. Cohen, Ruslan Salakhutdinov
长文档上复杂问题回答的迭代分层注意力机制
摘要

我们提出了一种名为DocHopper的新模型,该模型通过迭代地关注长篇且具有层次结构的文档的不同部分,以回答复杂的多步问题。与多跳问答(QA)系统类似,DocHopper在每一步中均使用查询$q$来获取文档中的相关信息,并将这些“检索”到的信息与$q$结合,生成下一个查询。然而,与大多数先前的多跳QA系统不同,DocHopper能够“检索”文档中的短段落或长篇章节,从而模拟出在长文档中逐步“导航”的多步推理过程。为实现这一新颖行为,DocHopper并未采用将文档内容直接拼接到查询文本$q$的方式,而是通过将$q$的紧凑神经表示与文档中某一层级部分的紧凑神经表示进行融合,而该部分可能规模相当庞大。我们在四个需要阅读长篇复杂文档以回答多跳问题的QA任务上对DocHopper进行了实验,结果表明,该模型在其中三个数据集上达到了当前最优(state-of-the-art)性能。此外,DocHopper在推理阶段具有较高的效率,其速度比基线方法快3至10倍。

长文档上复杂问题回答的迭代分层注意力机制 | 最新论文 | HyperAI超神经