HyperAIHyperAI

Command Palette

Search for a command to run...

位置编码以控制输出序列长度

Sho Takase Naoaki Okazaki

摘要

神经编码器-解码器模型在自然语言生成任务中取得了显著成功。然而,抽象式摘要的实际应用必须考虑一个额外的约束条件,即生成的摘要不应超过预期的长度。本文提出了一种简单而有效的扩展方法,对正弦位置编码(Vaswani等人,2017)进行改进,以使神经编码器-解码器模型能够保持长度约束。与以往研究中学习表示每个长度的嵌入不同,所提出的方法即使目标长度未出现在训练数据中,也能生成任意长度的文本。实验结果表明,该方法不仅能够控制生成长度,还能提高ROUGE分数。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供