本稿では、多言語言語モデルの事前学習にELECTRAスタイルのタスクを導入する。具体的には、多言語的置換トークン検出（multilingual replaced token detection）および翻訳的置換トークン検出（translation replaced token detection）の2つの事前学習タスクを提案する。さらに、多言語コーパスおよび並列コーパスの両方を用いて、XLM-Eと名付けたモデルを事前学習した。実験結果から、XLM-Eは、計算コストを大幅に削減しつつ、さまざまな多言語理解タスクにおいてベースラインモデルを上回る性能を達成した。また、分析の結果、XLM-Eは優れた多言語間転移能力を獲得しやすい傾向にあることが示された。