HyperAIHyperAI

Command Palette

Search for a command to run...

視覚的注意を基盤とする多モーダル機械翻訳のニューラルモデル

Mingyang Zhou; Runxiang Cheng; Yong Jae Lee; Zhou Yu

概要

私たちは、並列的な視覚情報と文章情報を活用する新しい多モーダル機械翻訳モデルを紹介します。当該モデルは、共有される視覚-言語埋め込みと翻訳器の学習を共同で最適化します。モデルは、視覚的意味と対応する文章的意味を結びつける視覚注意接地メカニズムを利用しています。私たちのアプローチは、Multi30KデータセットおよびAmbiguous COCOデータセットにおいて競争力のある最先端の結果を達成しています。また、実世界の国際オンラインショッピングシナリオを模擬するために新たな多言語多モーダル製品説明データセットを収集しました。このデータセットにおいて、私たちの視覚注意接地モデルは他の方法よりも大幅に優れた性能を示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
視覚的注意を基盤とする多モーダル機械翻訳のニューラルモデル | 記事 | HyperAI超神経