التدريب على المهام الوسيطة---تحسين نموذج مُدرب مسبقًا على مهمة وسيطة قبل تحسينه مرة أخرى على المهمة المستهدفة---غالبًا ما يُحسن أداء النموذج بشكل كبير في مهام فهم اللغة ضمن الإعدادات الأحادية اللغة الإنجليزية. نحن نستكشف ما إذا كان التدريب على المهام الوسيطة باللغة الإنجليزية لا يزال مفيدًا في المهام المستهدفة غير الإنجليزية. باستخدام تسعة مهام وسيطة لفهم اللغة، نقيم نقل المهام الوسيطة في إعداد عابر للغات بدون تدريب (zero-shot cross-lingual) على مقاييس XTREME. نلاحظ تحسينات كبيرة من التدريب الوسيطي في مهمتي استرجاع الجمل BUCC وTatoeba، وتحسينات معتدلة في مهمات الإجابة عن الأسئلة المستهدفة. تحقق MNLI وSQuAD وHellaSwag أفضل النتائج الشاملة كمهام وسيطة، بينما يوفر التدريب الوسيطي متعدد المهام تحسينات إضافية صغيرة. باستخدام أفضل نماذج التدريب الوسيطي لدينا لكل مهمة مستهدفة، نحصل على تحسين بـ 5.4 نقطة فوق XLM-R Large على مقاييس XTREME، مما يجعلنا راسخين في طليعة التقنيات حتى يونيو 2020. كما نستكشف الاستمرار في التعلم متعدد اللغات للنماذج اللغوية (MLM) خلال التدريب الوسيطي واستخدام بيانات المهمة الوسيطة التي تم ترجمتها آليًا، ولكن لا شيء من ذلك يتفوق باستمرار على مجرد أداء التدريب الوسيطي باللغة الإنجليزية.