BERTをニューラル機械翻訳に統合する

最近提案されたBERTは、テキスト分類や読解理解など、多様な自然言語理解タスクにおいて優れた性能を示している。しかし、BERTをニューラル機械翻訳（NMT）に効果的に適用する方法については、十分な探求がなされていない。BERTは一般的に、下流の言語理解タスクにおいてコンテキスト埋め込みとしてではなく、ファインチューニングの目的で使用されるが、NMTにおいて我々の初期的な検討では、BERTをコンテキスト埋め込みとして用いる方がファインチューニングとして用いる場合よりも優れた結果が得られた。この結果を踏まえ、本研究では、このアプローチをさらに発展させ、BERTをNMTにどのようにより効果的に活用できるかを考察した。そこで、新しいアルゴリズム「BERT-fusedモデル」を提案する。本モデルでは、まずBERTを用いて入力シーケンスの表現を抽出し、その後、その表現をNMTモデルのエンコーダおよびデコーダの各層に、アテンション機構を介して統合する。本研究では、教師あり（文レベルおよび文書レベルの翻訳を含む）、半教師あり、および教師なし機械翻訳の設定において実験を行い、7つのベンチマークデータセットにおいて最先端の性能を達成した。実装コードは、\url{https://github.com/bert-nmt/bert-nmt} にて公開している。