تُطبَّق النماذج اللغوية القائمة على مُحَوِّل (Transformer) على طيف واسع من التطبيقات في معالجة اللغة الطبيعية. ومع ذلك، فإنها غير فعّالة وصعبة في النشر. في السنوات الأخيرة، تم اقتراح العديد من خوارزميات التقليل لزيادة كفاءة التنفيذ الخاصة بالنماذج الكبيرة القائمة على مُحَوِّل على الأجهزة المستهدفة. في هذا العمل، نقدّم طريقة جديدة لتدريب نماذج لغوية مُتَدرّبة مسبقاً ونادرة (spare) قائمة على مُحَوِّل من خلال دمج تقنية حذف الأوزان (weight pruning) وتقنية نقل النموذج (model distillation). يمكن استخدام هذه النماذج المُتَدرّبة مسبقاً ونادرة في التعلم الناقل (transfer learning) لسلسلة واسعة من المهام مع الحفاظ على نمط الندرة (sparsity). نُظهِر طريقة عملنا من خلال تطبيقها على ثلاث هياكل معروفة، لإنشاء نماذج BERT-Base وBERT-Large وDistilBERT المُتَدرّبة مسبقاً ونادرة. ونُبيّن كيف تنقل النماذج المُتَدرّبة مسبقاً والناضجة التي قمنا بتدريبها معرفتها إلى خمسة مهام طبيعية للغة مختلفة، مع فقدان دقيق ضئيل جداً في الدقة. علاوة على ذلك، نُظهِر كيفية تقليل أوزان النماذج النادرة إلى دقة 8 بت باستخدام التدريب المُستشعر للترميز (quantization-aware training). على سبيل المثال، مع نموذج BERT-Large المُتَدرّب مسبقاً ونادر وتم تحسينه (fine-tuned) على SQuADv1.1 وتم ترميزه إلى دقة 8 بت، نحقّق نسبة تقليل حجم تبلغ 40 ضعفًا بالنسبة لوحدة الترميز (encoder)، مع فقدان دقيق أقل من 1%. إلى حد معرفتنا، تُظهر نتائجنا أفضل نسبة بين التقليل والدقة لنموذج BERT-Base وBERT-Large وDistilBERT.