具有视觉意识的翻译提炼

先前在多模态机器翻译领域的研究显示，视觉信息仅在非常特定的情况下才需要，例如在存在歧义词汇且文本上下文不足以解决问题时。因此，模型往往学会忽略这些信息。我们提出了一种“翻译-精炼”方法来解决这一问题，其中图像仅由第二阶段解码器使用。该方法联合训练以生成良好的初稿翻译，并通过（i）更好地利用目标语言的文本上下文（包括左侧和右侧上下文）以及（ii）利用视觉上下文来改进初稿。此方法达到了当前最佳的结果。此外，我们还展示了该方法具有从源语言中的错误或缺失词汇中恢复的能力。