HyperAIHyperAI

Command Palette

Search for a command to run...

用于非自回归神经机器翻译的瞥视Transformer

Lihua Qian Hao Zhou Yu Bao Mingxuan Wang Lin Qiu Weinan Zhang Yong Yu Lei Li

摘要

近期关于非自回归神经机器翻译(Non-Autoregressive Neural Machine Translation, NAT)的研究致力于通过并行解码提升效率,同时不牺牲翻译质量。然而,现有的NAT方法要么在性能上仍逊于Transformer模型,要么需要多次解码过程,导致加速效果受限。为此,我们提出了凝视语言模型(Glancing Language Model, GLM),一种用于学习词元之间依赖关系的机制,以支持单次并行生成模型。基于GLM,我们进一步构建了凝视Transformer(Glancing Transformer, GLAT)用于机器翻译任务。GLAT仅需一次并行解码即可生成高质量翻译,实现8至15倍的加速。在多个WMT语言方向上的实验结果表明,GLAT显著优于此前所有单次解码的非自回归方法,其性能接近于标准Transformer模型,与之之间的BLEU得分差距仅为0.25至0.9分。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供