HyperAIHyperAI

Command Palette

Search for a command to run...

AdvAug:神经机器翻译中的鲁棒对抗增强

Yong Cheng Lu Jiang Wolfgang Macherey Jacob Eisenstein

摘要

本文提出了一种面向神经机器翻译(Neural Machine Translation, NMT)的新颖对抗增强方法。其核心思想是通过对从两个邻域分布中采样的虚拟句子最小化邻域风险(vicinal risk),其中关键在于引入了一种新型的对抗句子邻域分布,该分布描述了一个以观测到的训练句对为中心的平滑插值嵌入空间。随后,我们详细阐述了所提出的AdvAug方法,该方法利用虚拟句子的嵌入表示,在序列到序列学习框架中训练NMT模型。在中文-英文、英文-法文以及英文-德文翻译基准上的实验结果表明,AdvAug相较于Transformer模型实现了显著性能提升(最高提升达4.9个BLEU分数),并且在不依赖额外语料库的前提下,显著优于其他数据增强技术(如回译,back-translation)。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供