HyperAIHyperAI

Command Palette

Search for a command to run...

注意に基づくニューラル機械翻訳の効果的なアプローチ

Minh-Thang Luong; Hieu Pham; Christopher D. Manning

概要

最近、注意機構が選択的に元の文の部分に焦点を当てる手法として、ニューラル機械翻訳(NMT)の性能向上に利用されています。しかし、注意機構に基づくNMTに有用なアーキテクチャに関する研究はまだ十分に行われていません。本論文では、2つの単純かつ効果的な注意機構のクラスを検討します。一つは常にすべての元の単語に注目するグローバルアプローチ、もう一つは一度に元の文の一部だけを見つめるローカルアプローチです。我々は、これらの両方のアプローチが英独間および独英間のWMT翻訳タスクにおいて有効であることを示します。ローカル注意を使用することで、ドロップアウトなどの既知の技術を組み込んだ非注意システムに対して5.0 BLEUポイントの有意な改善を達成しました。異なる注意アーキテクチャを使用したアンサンブルモデルにより、WMT'15英独翻訳タスクで25.9 BLEUポイントという新しい最先端結果を樹立し、既存の最良システム(NMTとn-gramリランカーを使用)に対して1.0 BLEUポイントの改善を達成しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています