أثبتت التدريب الأولي للنماذج اللغوية فائدتها في تعلم تمثيلات لغوية عامة. كنموذج رائد للتدريب الأولي للنماذج اللغوية، حققت BERT (تمثيلات المُشفر الثنائي من متحولات) نتائج مذهلة في العديد من مهام فهم اللغة. في هذا البحث، نقوم بإجراء تجارب شاملة لدراسة طرق مختلفة لضبط BERT بشكل دقيق في مهمة تصنيف النصوص وتقديم حل عام لضبط BERT بدقة. وفي النهاية، حصل الحل المقترح على نتائج جديدة رائدة في ثمانية مجموعات بيانات شهيرة لتصنيف النصوص.