أظهرت الدراسات الحديثة أن النماذج المُدرَّبة مسبقًا متعددة اللغات تحقق أداءً ملحوظًا في المهام المتعددة اللغات التالية. وتنجم هذه التحسينات عن تعلُّم كميات كبيرة من البيانات النصية المفردة والمتعددة اللغات. وعلى الرغم من الاعتراف الشائع بأن البيانات المتعددة اللغات ضرورية لتحسين أداء النموذج، إلا أن الطرق الحالية غالبًا ما تكون محدودة بحجم هذه البيانات، خصوصًا بالنسبة للغات ذات الموارد المنخفضة. في هذا البحث، نقترح ERNIE-M، وهي طريقة تدريب جديدة تشجع النموذج على محاذاة تمثيل عدة لغات باستخدام بيانات نصية مفردة، بهدف التغلب على القيود التي يفرضها حجم مجموعة البيانات المتعددة اللغات على أداء النموذج. ويعتمد مفهومنا الأساسي على دمج تقنية الترجمة العكسية في عملية التدريب المسبق. فنحن نُولِّد أزواج جمل اصطناعية متعددة اللغات من خلال بيانات نصية مفردة، مما يمكّن النموذج من تعلُّم التوافق المعاني بين اللغات المختلفة، وبالتالي تعزيز نمذجة المعاني في النماذج المتعددة اللغات. وتبين النتائج التجريبية أن ERNIE-M يتفوّق على النماذج المتعددة اللغات الحالية، ويحقق نتائج جديدة على مستوى الحد الأقصى (state-of-the-art) في مجموعة متنوعة من المهام المتعددة اللغات التالية.