HyperAIHyperAI

Command Palette

Search for a command to run...

无参考书训练以提高摘要编码器的记忆能力

Yichen Jiang Mohit Bansal

摘要

一个好的神经序列到序列摘要模型应该具备强大的编码器,能够从长输入文本中提取并记忆重要信息,从而使解码器可以根据编码器的记忆生成突出的摘要。在本文中,我们通过添加一个额外的“闭卷”解码器(无注意力机制和指针机制)来提高指针生成模型编码器的记忆能力。这种解码器迫使编码器在其记忆状态中更加有选择性地编码信息,因为解码器无法依赖由注意力机制和可能的复制模块提供的额外信息,从而改善了整个模型。在CNN/Daily Mail数据集上,我们的双解码器模型在交叉熵和强化设置下(以及人工评估中),显著优于基线模型,在ROUGE和METEOR指标上表现更佳。此外,我们的模型在仅测试的DUC-2002泛化性设置中也取得了更高的分数。为了证明我们的双解码器模型的编码器确实学习到了比基线编码器更强的记忆表示,我们进一步进行了记忆能力测试、两种显着性度量以及若干消融实验(基于固定编码器、梯度流切断和模型容量)。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无参考书训练以提高摘要编码器的记忆能力 | 论文 | HyperAI超神经