Command Palette

Search for a command to run...

4ヶ月前

マルチモーダルトランスフォーマーによるマルチモーダル機械翻訳

{Xiaojun Wan Shaowei Yao}

マルチモーダルトランスフォーマーによるマルチモーダル機械翻訳

要約

マルチモーダル機械翻訳(MMT)は、一般的に静止画像などの他のモダリティからの情報を導入することで翻訳品質を向上させることを目的としている。従来の研究では、さまざまな統合手法が提案されているが、多くの手法は複数のモダリティ間の相対的な重要性を考慮していない。すべてのモダリティを同等に扱うと、重要度の低いモダリティから無関係な情報が過剰にエンコードされてしまう可能性がある。本稿では、Transformerにマルチモーダル自己注意機構(multimodal self-attention)を導入することで、上記の課題を解決する手法を提案する。提案手法は、テキストに基づいて画像の表現を学習するため、画像に含まれる関係のない情報をエンコードするのを回避できる。実験および可視化分析の結果、本モデルが視覚情報の恩恵を効果的に受け、さまざまな評価指標において従来手法および競合ベースラインを著しく上回ることが示された。

ベンチマーク

ベンチマーク方法論指標
multimodal-machine-translation-on-multi30kMultimodal Transformer
BLEU (EN-DE): 38.7
Meteor (EN-DE): 55.7

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
マルチモーダルトランスフォーマーによるマルチモーダル機械翻訳 | 論文 | HyperAI超神経