13 天前

Gumbel-Attention 用于多模态机器翻译

Pengbo Liu, Hailong Cao, Tiejun Zhao
Gumbel-Attention 用于多模态机器翻译
摘要

多模态机器翻译(MMT)通过引入视觉信息提升了翻译质量。然而,现有的MMT模型忽视了图像可能携带与文本无关信息的问题,导致模型受到大量噪声干扰,进而影响翻译性能。本文提出一种新颖的Gumbel-Attention机制,用于多模态机器翻译,该机制能够自动筛选出与文本相关联的图像特征部分。具体而言,与以往基于注意力机制的方法不同,本文首先采用一种可微分的方法对图像信息进行选择,自动剔除图像特征中无用的部分。实验结果表明,该方法有效保留了与文本相关的图像特征,剩余的特征有助于提升MMT模型的翻译效果。

Gumbel-Attention 用于多模态机器翻译 | 最新论文 | HyperAI超神经