في هذه الورقة، نُقدّم مهامًا على نمط ELECTRA لتدريب النماذج اللغوية عبر اللغات. بشكل خاص، نعرض مهمتين للتدريب المسبق، وهما: كشف الحرف المُستبدَل متعدد اللغات، وكشف الحرف المُستبدَل في الترجمة. علاوة على ذلك، نُدرّب النموذج، الذي أُطلق عليه اسم XLM-E، على كلا النوعين من المجموعات اللغوية: المجموعات متعددة اللغات والمجموعات المتوازية. ويُظهر نموذجنا تفوقًا على النماذج الأساسية في مهام فهم اللغة عبر اللغات المختلفة، مع تكلفة حوسبة أقل بكثير. علاوة على ذلك، تُشير التحليلات إلى أن XLM-E يميل إلى تحقيق قدرة أفضل على التحويل عبر اللغات.