2 个月前

基于去卷积的神经机器翻译全局解码

Junyang Lin; Xu Sun; Xuancheng Ren; Shuming Ma; Jinsong Su; Qi Su
基于去卷积的神经机器翻译全局解码
摘要

神经机器翻译(Neural Machine Translation, NMT)中的大多数序列到序列(Sequence-to-Sequence, Seq2Seq)模型采用循环神经网络(Recurrent Neural Network, RNN)按顺序逐词生成翻译。然而,语言学研究已证明,语言并非简单的线性词序列,而是具有复杂结构的序列,因此每一步的翻译都应基于整个目标端上下文进行条件化。为了解决这一问题,我们提出了一种新的NMT模型,该模型在解码过程中通过预测目标序列的结构来指导序列生成。我们的模型根据目标端上下文的结构预测生成翻译,从而摆脱了顺序生成的限制。实验结果表明,与现有最先进方法相比,我们的模型更具竞争力;分析还显示,我们的模型在翻译不同长度的句子时表现出较强的鲁棒性,并且通过目标端上下文指导解码减少了重复现象。

基于去卷积的神经机器翻译全局解码 | 最新论文 | HyperAI超神经