2 个月前

用于自然语言推理的可分解注意力模型

Ankur P. Parikh; Oscar Täckström; Dipanjan Das; Jakob Uszkoreit
用于自然语言推理的可分解注意力模型
摘要

我们提出了一种用于自然语言推理的简单神经架构。该方法利用注意力机制将问题分解为可以独立解决的子问题,从而实现简单的并行化。在斯坦福自然语言推理(SNLI)数据集上,我们的模型以远少于前人工作的参数数量获得了最先进的结果,并且无需依赖任何词序信息。通过引入仅考虑最小词序信息的句内注意力机制,进一步提升了模型性能。