要約
文法はニューラル機械翻訳（NMT）において非常に効果的であることが示されています。従来のNMTモデルでは、十分に訓練された構文解析システムからの最適木出力を表現することで文法を統合していました。例えば、代表的なTree-RNNやTree-Linearization手法が挙げられますが、これらの手法は誤り伝播の問題に悩まされる可能性があります。本研究では、ソース側の文法を暗黙的にNMTに統合する新しい手法を提案します。基本的なアイデアは、エンドツーエンドの依存関係解析器で得られた中間隠れ層表現を使用することです。これらの表現をsyntax-aware word representations (SAWRs)と呼びます。次に、このようなSAWRsを通常の単語埋め込みと連結して、基本的なNMTモデルを強化します。この手法は、広く使用されているシーケンス・トゥ・シーケンス（Seq2Seq）NMTモデルに容易に統合できます。私たちは代表的なRNNベースのSeq2Seq基準システムから始め、提案手法の有効性を中国語-英語翻訳タスクと英語-ベトナム語翻訳タスクの2つのベンチマークデータセットで検証しました。実験結果は、基準システムと比較して2つのデータセットで有意なBLEUスコア向上をもたらすことを示しています。中国語-英語翻訳では1.74ポイント、英語-ベトナム語翻訳では0.80ポイントそれぞれ向上しました。さらに、この手法は明示的なTree-RNNおよびTree-Linearization手法よりも優れた性能を発揮しました。