2 个月前
基于循环神经网络的门控注意力句编码器用于自然语言推理
Qian Chen; Xiaodan Zhu; Zhen-Hua Ling; Si Wei; Hui Jiang; Diana Inkpen

摘要
RepEval 2017 共享任务旨在评估用于句子表示的自然语言理解模型,其中句子通过神经网络被表示为固定长度的向量,并通过自然语言推理任务测试其表示的质量。本文描述了我们在共享任务中排名靠前的系统(alpha),该系统在领域内测试集上获得了 74.9% 的准确率,在跨领域测试集上也达到了 74.9% 的准确率,表明该模型对跨领域数据具有良好的泛化能力。我们的模型配备了句内门控注意力组合机制(intra-sentence gated-attention composition),这有助于实现更好的性能。除了将我们的模型提交给共享任务外,我们还在斯坦福自然语言推理(SNLI)数据集上对其进行了测试。我们获得了 85.5% 的准确率,这是在不允许跨句子注意力的情况下,在 SNLI 上报告的最佳结果,而这一条件在 RepEval 2017 中同样被强制执行。