HyperAIHyperAI

Command Palette

Search for a command to run...

具有视觉意识的翻译提炼

Julia Ive extsuperscript1 Pranava Madhyastha extsuperscript2 Lucia Specia extsuperscript2

摘要

先前在多模态机器翻译领域的研究显示,视觉信息仅在非常特定的情况下才需要,例如在存在歧义词汇且文本上下文不足以解决问题时。因此,模型往往学会忽略这些信息。我们提出了一种“翻译-精炼”方法来解决这一问题,其中图像仅由第二阶段解码器使用。该方法联合训练以生成良好的初稿翻译,并通过(i)更好地利用目标语言的文本上下文(包括左侧和右侧上下文)以及(ii)利用视觉上下文来改进初稿。此方法达到了当前最佳的结果。此外,我们还展示了该方法具有从源语言中的错误或缺失词汇中恢复的能力。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供