最近の研究では、事前学習された多言語モデルが、下流の多言語タスクにおいて優れた性能を発揮することが示されている。この向上は、大量の単言語および並列コーパスを学習することに起因している。一般に、並列コーパスがモデル性能の向上に不可欠であることは認められているが、既存の手法は特に低資源言語において、並列コーパスの規模の制約に苦しんでいる。本論文では、単言語コーパスを用いて複数言語の表現を統合的に整列させる新しい学習手法ERNIE-Mを提案する。これにより、並列コーパスの規模によるモデル性能の制約を克服することを目的とする。本研究の核心的な洞察は、逆翻訳（back-translation）を事前学習プロセスに統合することにある。単言語コーパス上で擬似並列文ペアを生成し、異なる言語間の意味的整合性を学習可能にすることで、多言語モデルの意味表現能力を強化する。実験結果から、ERNIE-Mは既存の多言語モデルを上回り、さまざまな多言語下流タスクにおいて新たな最良の性能を達成した。