HyperAIHyperAI

Command Palette

Search for a command to run...

注意力正则化的序列到序列学习在端到端自然语言生成挑战中的应用

Qian Lin Biao Zhang Jinsong Su Jing Yang

摘要

本文介绍了我们在端到端(E2E)自然语言生成(NLG)挑战赛中所采用的系统。该挑战赛构建了一个面向餐厅领域语音对话系统的新型数据集,该数据集展现出更丰富的词汇多样性与句法变化,对内容选择提出了更高要求(Novikova 等,2017)。为应对这一挑战,我们采用基于CAEncoder增强的序列到序列学习模型(Zhang 等,2017),并提出一种注意力正则化方法,以促进注意力权重在输入词语间的均匀分布,同时有效缓解过拟合问题。在未进行任何特殊设计的前提下,我们的系统已表现出非常出色的性能。尤其值得一提的是,该系统在ROUGE-L指标上取得了0.7083的得分,是所有提交的主要系统中的最佳结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供