要約
主要なニューラル機械翻訳モデルはエンコーダー-デコーダー構造に基づいており、その多くはソースおよびターゲットシーケンスに対する制約のない受容野に依存しています。本論文では、これらの規範を破る新しいアーキテクチャについて研究します。我々の簡略化されたアーキテクチャは、自己注意機構に基づくトランスフォーマーモデルのデコーダー部分から構成されていますが、注意の受容野には局所性制約が適用されます。学習時の入力として、ソース文とターゲット文の両方がネットワークに供給され、言語モデルとして訓練されます。推論時には、ソースシーケンスを前のトークンとして使用し、ターゲットトークンを自己回帰的に予測します。提案されたモデルはIWSLT'14ドイツ語-英語翻訳において35.7 BLEUという新たな最先端の成果を達成し、WMT'14英語-ドイツ語およびWMT'14英語-フランス語翻訳ベンチマークにおける文献上の最良報告結果と同等の性能を示しました。