一句话总结

斯坦福大学提出用于神经机器翻译的全局注意力与局部注意力机制，证明局部注意力相比非注意力系统带来 5.0 BLEU 的提升，并且由不同注意力架构组成的集成模型在 WMT'15 英德翻译任务上取得 25.9 BLEU 的领先结果。

核心贡献

• 本文提出两种用于神经机器翻译的注意力机制：一种关注所有源语位置的全局机制，另一种仅关注部分源语位置的局部机制。局部机制可微，并且比全局或软注意力的计算代价更低。
• 本文比较多种对齐函数与注意力配置，确定最适合全局注意力和局部注意力的函数，并分析其对学习过程、长句处理、对齐质量以及翻译输出的影响。
• 在 WMT 英德翻译任务上，局部注意力相比引入 dropout 的非注意力系统带来最高 5.0 BLEU 的提升；使用不同注意力架构的集成模型在 WMT'15 英德翻译任务上达到 25.9 BLEU，比此前最佳的 NMT 和 n-gram 重排序器系统高 1.0 BLEU。

引言

神经机器翻译之所以成为大规模翻译的主流方法，是因为它进行端到端训练，所需领域知识很少，并且避免了传统系统使用的大规模短语表和复杂解码器。早期 NMT 模型在捕获词对齐和处理长句方面仍面临挑战，尤其是在不显式决定哪些源词最重要时就要输出目标词的情形下。该研究在先前学习源词与目标词对齐关系的工作基础上，利用注意力机制设计了两种更简洁的基于注意力的 NMT 模型：一种考虑全部源词的全局模型，以及一种只关注部分源语位置的局部模型。该研究还研究了这些模型使用的不同对齐函数。其实验在 WMT 英德任务上显示出显著增益，包括相比非注意力系统最高 5.0 BLEU 的提升，以及英德翻译的新领先结果。

方法

所提出的系统采用编码器解码器神经机器翻译流程。编码器读取源序列 $x_1,\ldots,x_n$x1​,…,xn​ 并产生源端隐状态，而解码器逐个词生成目标序列 $y_1,\ldots,y_m$y1​,…,ym​。该研究采用堆叠循环架构，在编码器和解码器中都使用 LSTM 单元。条件生成概率可分解为：

$$\log p(y \mid x) = \sum_{j=1}^{m} \log p(y_j \mid y_{<j}, \boldsymbol{s})$$logp(y∣x)=j=1∑m​logp(yj​∣y<j​,s)

其中 $\boldsymbol{s}$s 表示从源端携带到解码器的信息。在基础循环设计中，每个解码器隐状态按如下方式更新：

$$\boldsymbol{h}_j = f(\boldsymbol{h}_{j-1}, \boldsymbol{s}), \qquad p(y_j \mid y_{<j}, \boldsymbol{s}) = \operatorname{softmax}(g(\boldsymbol{h}_j))$$hj​=f(hj−1​,s),p(yj​∣y<j​,s)=softmax(g(hj​))

这里，$f$f 是循环转移函数，$g$g 将解码器状态投影到目标词表。训练使用标准平行序列目标函数：

$$\mathcal{J}_t = \sum_{(x,y)\in D} -\log p(y \mid x)$$Jt​=(x,y)∈D∑​−logp(y∣x)

下方的框架图展示了循环编码器堆栈读取源序列，以及循环解码器堆栈逐步生成目标词。

注意力模块修改了这一流程，使解码器能够在整个解码过程中查询源端隐状态，而不只是在解码开始时使用一个固定摘要。在各类注意力变体中，每个解码步骤的计算都遵循共同模式。给定顶层解码器隐状态 $\boldsymbol{h}_t$ht​ 和源端上下文向量 $\boldsymbol{c}_t$ct​，模型形成注意力隐状态：

$$\tilde{\boldsymbol{h}}_t = \tanh\left(\boldsymbol{W}_c[\boldsymbol{c}_t;\boldsymbol{h}_t]\right)$$h~t​=tanh(Wc​[ct​;ht​])

然后预测下一个目标词：

$$p(y_t \mid y_{<t}, x) = \operatorname{softmax}(\boldsymbol{W}_s \tilde{\boldsymbol{h}}_t)$$p(yt​∣y<t​,x)=softmax(Ws​h~t​)

不同注意力设计的差别在于如何根据编码器隐状态计算 $\boldsymbol{c}_t$ct​。

在全局注意力模型中，解码器关注每个源隐状态 $\bar{\boldsymbol{h}}_s$hˉs​。对于每个目标步骤 $t$t，模型计算变长对齐向量 $\boldsymbol{a}_t$at​，其中：

$$a_t(s) = \frac{\exp\left(\operatorname{score}(\boldsymbol{h}_t,\bar{\boldsymbol{h}}_s)\right)} {\sum_{s'} \exp\left(\operatorname{score}(\boldsymbol{h}_t,\bar{\boldsymbol{h}}_{s'})\right)}$$at​(s)=∑s′​exp(score(ht​,hˉs′​))exp(score(ht​,hˉs​))​

随后使用对齐函数，以所有源状态上的加权平均形成上下文向量。该研究考虑了若干评分函数：

$$\operatorname{score}(\boldsymbol{h}_t,\bar{\boldsymbol{h}}_s)= \begin{cases} \boldsymbol{h}_t^{\top}\bar{\boldsymbol{h}}_s, & \text{dot product}\\ \boldsymbol{h}_t^{\top}\boldsymbol{W}_a\bar{\boldsymbol{h}}_s, & \text{general}\\ \boldsymbol{W}_a[\boldsymbol{h}_t;\bar{\boldsymbol{h}}_s], & \text{concatenation} \end{cases}$$score(ht​,hˉs​)=⎩⎨⎧​ht⊤​hˉs​,ht⊤​Wa​hˉs​,Wa​[ht​;hˉs​],​dot productgeneralconcatenation​

这种全局设计遵循一条紧凑路径：从当前解码器状态到对齐权重，再到上下文向量，最后到注意力输出状态。下方的注意力机制图展示了全局权重如何产生并组合为上下文向量。

全局注意力在每个解码步骤考虑完整源序列，这在输入较长时代价较高。为降低开销，该研究设计了局部注意力模块，聚焦于预测对齐中心 $p_t$pt​ 附近的小窗口。对每个目标词，上下文向量仅由以下区间内的源隐状态计算：

$$[p_t-D,\; p_t+D]$$[pt​−D,pt​+D]

因此，局部对齐向量具有固定维度 $2D+1$2D+1。系统使用两种变体。单调变体设定 $p_t = t$pt​=t，假设源语顺序与目标语顺序大致单调对应。预测变体则根据解码器状态估计对齐中心：

$$p_t = S \cdot \operatorname{sigmoid}(\boldsymbol{v}_p^{\top}\tanh(\boldsymbol{W}_p\boldsymbol{h}_t))$$pt​=S⋅sigmoid(vp⊤​tanh(Wp​ht​))

其中 $S$S 是源句长度，$\boldsymbol{W}_p$Wp​ 和 $\boldsymbol{v}_p$vp​ 是学习参数。为了偏向预测中心附近的源位置，局部权重引入高斯先验：

$$\boldsymbol{a}_t(s)= \operatorname{align}(\boldsymbol{h}_t,\bar{\boldsymbol{h}}_s) \exp\left(-\frac{(s-p_t)^2}{2\sigma^2}\right), \qquad \sigma=\frac{D}{2}$$at​(s)=align(ht​,hˉs​)exp(−2σ2(s−pt​)2​),σ=2D​

该机制在将注意力限制在局部区域的同时保持模型可微。下方的局部注意力图展示了预测的对齐位置以及用于形成上下文向量的窗口源状态。

全局注意力和局部注意力变体最初在每一步计算注意力时，不会显式地将过去的对齐信息向前传递。为了让解码器感知早期的对齐决策，该研究引入输入馈送连接。注意力向量 $\tilde{\boldsymbol{h}}_t$h~t​ 与下一步的输入表示拼接：

$$\boldsymbol{z}_{t+1} = [\boldsymbol{e}_{t+1}; \tilde{\boldsymbol{h}}_t]$$zt+1​=[et+1​;h~t​]

其中 $\boldsymbol{e}_{t+1}$et+1​ 是下一个输入嵌入或输入状态。该连接起到覆盖机制的作用：解码器能够复用此前关注的源位置信息，并且循环网络还在时间和层边界之间获得额外深度。该方法可以应用于一般的堆叠循环架构，包括不含注意力的架构。下方的输入馈送图展示了上一步的注意力输出如何成为后续步骤输入的一部分。

实验

实验在 WMT 英德双向翻译任务上评估堆叠 LSTM 神经机器翻译系统，使用 WMT 训练数据、用于选择超参数的开发集，以及使用 tokenized 和 NIST BLEU 评分的标准测试集。在英德和德英任务上的系统消融实验表明，源句反转、dropout、注意力、输入馈送、改进的对齐函数以及未知词替换逐层带来增益，而模型集成在较新测试集上取得强劲表现。额外分析考察学习曲线、句子长度影响、注意力架构选择、对齐质量以及样例输出，表明注意力模型对较长输入的泛化能力更强，更准确地处理罕见词和命名实体，并学习到有用的对齐，尽管对齐质量与翻译质量并非完全相关。

英德结果显示，反转源句并加入 dropout 会改进非注意力基线，随后注意力机制带来最大增益。全局注意力使模型可与强注意力系统竞争，而输入馈送与带预测式对齐的局部注意力带来进一步提升，未知词替换也带来有用增益。由多个模型变体组成的集成达到所报告的最佳 BLEU 分数，表明结合不同注意力选择能够提升翻译质量。逐步改进模型带来稳定的 BLEU 增益和更低困惑度。在该任务上，带预测式对齐的局部注意力优于全局注意力。当注意力提供有用的源目标链接时，未知词替换收益最大。对多样化注意力与正则化设置进行集成取得最佳结果。

在 newstest2015 上，带未知词替换的最佳集成模型取得新的领先英德翻译分数，比此前带 5-gram 重排序器的最佳 NMT 系统高 1.0 BLEU。该结果表明，即使训练数据略少于较早设置，模型也能很好地泛化到较新测试集。带未知词替换的 8 模型集成达到 25.9 BLEU。它比此前 NMT 加 5-gram 重排序器系统高 1.0 BLEU。该模型从其训练设置向 newstest2015 的迁移表现良好。

德英结果显示，注意力相比源句反转的基础系统提升了翻译质量，输入馈送带来额外改进。更有效的对齐选择与未知词替换带来进一步增益，其中注意力尤其有利于罕见词。全局注意力在源句反转的基础系统上提升了 BLEU。在全局注意力之上，输入馈送再次带来相对增益。未知词替换通过改善罕见词对齐进一步提升翻译质量。

结果表明，注意力范围和对齐函数都很重要：在全局注意力中，dot 表现更好；在局部注意力中，general 更强。基于位置的对齐仅通过未知词替换带来有限增益，一种 local-m dot 配置明显效果较差。预测式局部注意力在困惑度和翻译质量上都是整体最强配置。预测式局部注意力整体表现最佳。dot 对齐有利于全局注意力，而 general 对齐有利于局部注意力。基于位置的对齐仅因未知词替换带来较小提升。

该表在 RWTH 英德数据上比较基于注意力的翻译模型与 Berkeley aligner 的对齐错误率。局部注意力模型产生比全局模型更好的对齐质量，而集成模型表现强劲，但并未超过最佳局部模型。尽管分析只抽取一对一的对齐，注意力模型的分数也接近 Berkeley aligner。局部注意力的 AER 低于全局注意力；集成模型对齐表现良好，但在 AER 上未超过 local-m；基于注意力的模型使用一对一抽取时接近 Berkeley aligner 的质量。

实验在英德和德英任务上评估了一系列非注意力与注意力神经机器翻译配置。逐步消融实验表明，源句反转基线受益于 dropout，而注意力，尤其是带预测式对齐的局部注意力，带来最大翻译增益，输入馈送与未知词替换带来进一步改进。额外分析表明，对齐质量与注意力范围密切相关，并且多样化注意力与正则化设置的集成能产生最强整体性能。