قد أدت عمليات التدريب المسبق للنماذج اللغوية إلى تحقيق مكاسب أداء كبيرة، ولكن المقارنة الدقيقة بين النهج المختلفة تظل تحديًا. يعتبر التدريب مكلفًا من الناحية الحسابية، ويتم غالبًا على مجموعات بيانات خاصة ومختلفة الأحجام، وسنوضح أن اختيارات الهايبربارامترات لها تأثير كبير على النتائج النهائية. نقدم دراسة إعادة إنتاج لعملية التدريب المسبق لنموذج BERT (Devlin et al., 2019) التي تقيس بدقة تأثير العديد من الهايبربارامترات الرئيسية وحجم بيانات التدريب. نجد أن BERT كان مدربًا بشكل غير كافٍ، ويمكنه أن يحقق أو يتفوق على أداء كل النماذج التي تم نشرها بعده. حقق أفضل نموذج لدينا أفضل النتائج المتاحة حاليًا في اختبارات GLUE وRACE وSQuAD. هذه النتائج تؤكد أهمية الخيارات التصميمية التي تم تجاهلها سابقًا، وتثير أسئلة حول مصدر التحسينات التي تم الإبلاغ عنها مؤخرًا. قمنا بإصدار نماذجنا وكودنا.