نُقدِّم تقنية التدرّب المُسبق (pre-finetuning)، وهي مرحلة تعليمية إضافية على نطاق واسع تقع بين مرحلة التدرّب المُسبق للنماذج اللغوية ومرحلة التدرّب الدقيق. يتمثل التدرّب المُسبق في تعلم متعدد المهام على نطاق واسع (حوالي 50 مجموعة بيانات، و逾 4.8 مليون مثال مُعلَّم إجماليًا)، ويُصمَّم لتشجيع تعلُّم تمثيلات قادرة على التعميم بشكل أفضل على مجموعة واسعة من المهام المختلفة. نُظهِر أن التدرّب المُسبق يُحسِّن أداء النماذج المُدرَّبة مسبقًا من نوع التمييز (مثل RoBERTa) والنماذج المُولِّدة (مثل BART) بشكل متسق على طيف واسع من المهام (مثل توقع الجمل، الاستدلال المشترك، والقراءة المفهومة للنص، إلخ)، مع تحسين ملحوظ في كفاءة العينات أثناء التدرّب الدقيق. كما نُبيِّن أن التعلم متعدد المهام على نطاق واسع أمر بالغ الأهمية؛ إذ قد يؤدي التدرّب المُسبق إلى تدهور الأداء عند استخدام عدد قليل من المهام حتى نقطة حرجة (عادة ما تكون فوق 15 مهمة)، وبعد هذه النقطة، يتحسَّن الأداء بشكل خطي مع زيادة عدد المهام.