2 个月前

aNMM:基于注意力机制的神经匹配模型对短答案文本进行排序

Liu Yang; Qingyao Ai; Jiafeng Guo; W. Bruce Croft
aNMM:基于注意力机制的神经匹配模型对短答案文本进行排序
摘要

作为基于特征工程的问题回答方法的替代方案,近年来提出了诸如卷积神经网络(CNNs)和长短期记忆模型(LSTMs)等深度学习方法,用于问题和答案的语义匹配。然而,为了获得良好的效果,这些模型通常会结合额外的特征,如词汇重叠或BM25分数。如果不进行这种结合,这些模型的表现明显逊色于基于语言学特征工程的方法。在本文中,我们提出了一种基于注意力机制的神经匹配模型(aNMM),用于短答案文本的排序。我们采用了值共享加权方案而不是位置共享加权方案来整合不同的匹配信号,并通过问题注意力网络引入了问题术语重要性学习。利用广受欢迎的TREC QA基准数据集,我们展示了相对简单的aNMM模型可以显著优于其他用于问题回答任务的神经网络模型,并且其性能与结合了额外特征的模型相当。当aNMM结合额外特征时,其表现超过了所有基线模型。

aNMM:基于注意力机制的神经匹配模型对短答案文本进行排序 | 论文 | HyperAI超神经