最近の研究では、生成型事前学習が英語の自然言語理解における効果を示しています。本研究では、このアプローチを複数の言語に拡張し、クロスリンガル事前学習の有効性を示します。私たちは、クロスリンガル言語モデル（XLMs）を学習するための2つの方法を提案します。1つは単一言語データのみに依存する非監督的な方法であり、もう1つは並行データを利用し、新しいクロスリンガル言語モデル目的関数を使用する監督的な方法です。私たちはクロスリンガル分類、非監督機械翻訳、および監督機械翻訳において最先端の結果を得ました。XNLIにおいて、私たちの手法は精度で4.9%絶対値向上という新たな最先端を達成しました。非監督機械翻訳においては、WMT'16ドイツ語-英語で34.3 BLEUを得て、以前の最先端よりも9 BLEU以上改善しました。監督機械翻訳においても、WMT'16ルーマニア語-英語で38.5 BLEUという新たな最先端を得て、以前の最良手法よりも4 BLEU以上優れています。私たちのコードと事前学習済みモデルは公開される予定です。