HyperAIHyperAI

Command Palette

Search for a command to run...

使用双向LSTM模型和内部注意力机制学习自然语言推理

Yang Liu Chengjie Sun Lei Lin Xiaolong Wang

摘要

在本文中,我们提出了一种基于句子编码的模型用于识别文本蕴含。我们的方法中,句子编码是一个两阶段的过程。首先,通过词级别的双向长短期记忆网络(biLSTM)进行平均池化,生成第一阶段的句子表示。其次,为了获得更好的表示,我们采用了注意力机制来替代同一句子上的平均池化。不同于使用目标句子来关注源句子中的词,我们利用句子的第一阶段表示来关注其自身出现的词,这种方法在本文中被称为“内注意力”(Inner-Attention)。在斯坦福自然语言推理(SNLI)语料库上进行的实验已经证明了“内注意力”机制的有效性。尽管参数数量较少,我们的模型仍然大幅超越了现有的最佳句子编码方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用双向LSTM模型和内部注意力机制学习自然语言推理 | 论文 | HyperAI超神经