多言語ニューラル機械翻訳の事前学習におけるアライメント情報の活用

機械翻訳（MT）に関する以下の問いに着目します：任意の言語対に対して、汎用的なMTモデルを1つ構築し、そのモデルを共通の基盤として、さまざまな言語対に対して派生的かつ改良されたモデルを生成することは可能か？本研究では、汎用多言語ニューラル機械翻訳モデルを事前学習するためのmRASPというアプローチを提案する。mRASPの核心となるアイデアは、「ランダム対応置換」という新規な技術であり、これにより複数の言語間で意味が類似する語や表現が、表現空間上においてより近接するようにエンコードされる。我々は、32の言語対を統合的に事前学習する際に、公に提供されているデータセットのみを用いてmRASPモデルを学習した。その後、下流の言語対に対して微調整（fine-tuning）を実施することで、専門化されたMTモデルを獲得する。多様な設定（低リソース、中程度リソース、豊富なリソース言語対、および非伝統的言語対への転移）における42の翻訳方向について、広範な実験を実施した。実験結果から、mRASPは対象言語対に対して直接学習を行う場合と比較して、顕著な性能向上を達成することが示された。これは、複数の低リソース言語対を活用して豊富なリソースを持つ言語対の翻訳性能を向上させることの可能性を初めて実証した。驚くべきことに、mRASPは事前学習コーパスに登場しなかった「非伝統的」言語に対しても、翻訳品質の向上をもたらすことが明らかになった。コード、データ、および事前学習済みモデルは、https://github.com/linzehui/mRASP にて公開されている。