要約
最近、注意機構が選択的に元の文の部分に焦点を当てる手法として、ニューラル機械翻訳（NMT）の性能向上に利用されています。しかし、注意機構に基づくNMTに有用なアーキテクチャに関する研究はまだ十分に行われていません。本論文では、2つの単純かつ効果的な注意機構のクラスを検討します。一つは常にすべての元の単語に注目するグローバルアプローチ、もう一つは一度に元の文の一部だけを見つめるローカルアプローチです。我々は、これらの両方のアプローチが英独間および独英間のWMT翻訳タスクにおいて有効であることを示します。ローカル注意を使用することで、ドロップアウトなどの既知の技術を組み込んだ非注意システムに対して5.0 BLEUポイントの有意な改善を達成しました。異なる注意アーキテクチャを使用したアンサンブルモデルにより、WMT'15英独翻訳タスクで25.9 BLEUポイントという新しい最先端結果を樹立し、既存の最良システム（NMTとn-gramリランカーを使用）に対して1.0 BLEUポイントの改善を達成しました。