أظهرت التدريب المُتعدد المهام (MTF) أنّها تساعد النماذج اللغوية الكبيرة على التعميم إلى مهام جديدة في بيئة الصفر-إسكيتش (zero-shot)، لكن حتى الآن ركّزت الدراسات حول MTF على البيانات والنماذج الإنجليزية فقط. قمنا بتطبيق MTF على عائلتي النماذج المتعددة اللغات المُدرّبة مسبقًا BLOOM و mT5، مما أدى إلى إنتاج نسخ معدلة مُدرّبة تُسمى BLOOMZ و mT0. وجدنا أن التدريب على مهام إنجليزية باستخدام عبارات إنجليزية يُمكّن النماذج الكبيرة المتعددة اللغات من التعميم إلى لغات غير إنجليزية لم تُستخدم في التدريب، طالما كانت موجودة في مجموعة التدريب المسبق. كما أن التدريب على مهام متعددة اللغات باستخدام عبارات إنجليزية يُحسّن الأداء على كل من المهام الإنجليزية وغير الإنجليزية، مما يؤدي إلى نتائج قياسية في بيئة الصفر-إسكيتش. كما قمنا بدراسة التدريب على مهام متعددة اللغات باستخدام عبارات تم ترجمتها آليًا من الإنجليزية إلى لغة كل مجموعة بيانات. وجدنا أن التدريب على هذه العبارات المُترجمة آليًا يؤدي إلى أداء أفضل على العبارات المكتوبة يدويًا بلغات معينة. بشكل مفاجئ، اتضح أن النماذج قادرة على التعميم الصفر-إسكيتش إلى مهام بلغات لم تُرَ أبدًا بشكل متعمد. نفترض أن النماذج تتعلم قدرات عليا تكون مُجرّدة عن المهمة واللغة معًا. بالإضافة إلى ذلك، قمنا بتمثيل xP3، وهو مزيج من مجموعات بيانات مُعلّمة بلغات 46، مع استخدام عبارات إنجليزية وعبارات مُترجمة آليًا. تتوفر الكود، والبيانات، والنماذج مجانًا على: https://github.com/bigscience-workshop/xmtf.