نقدم طريقة التدريب ذات الضوضاء (Noisy Student Training)، وهي منهجية للتعلم شبه المُشرَّف تعمل بكفاءة حتى عندما تكون البيانات المُعلَّمة وافرة. حققت طريقة التدريب ذات الضوضاء دقة أعلى بنسبة 88.4% في المقياس الأول (top-1) على مجموعة بيانات ImageNet، ما يُفوق بـ 2.0% النموذج الأفضل حالياً الذي يتطلب 3.5 مليار صورة مُعلَّمة بشكل ضعيف من إنستغرام. وعلى مجموعات اختبار المقاومة (robustness test sets)، تم تحسين دقة المقياس الأول على ImageNet-A من 61.0% إلى 83.7%، وتقليل متوسط خطأ التشويش على ImageNet-C من 45.7 إلى 28.3، وتقليل متوسط معدل التبديل على ImageNet-P من 27.8 إلى 12.2.تمتد طريقة التدريب ذات الضوضاء لتمديد فكرة التدريب الذاتي (self-training) والتفريغ التدريجي (distillation) من خلال استخدام نماذج طالب بحجم متساوٍ أو أكبر، بالإضافة إلى إدخال ضوضاء أثناء عملية التعلم. على مجموعة بيانات ImageNet، نبدأ بتدريب نموذج EfficientNet على الصور المُعلَّمة، ثم نستخدمه كمُدرِّس لإنشاء تسميات وهمية (pseudo labels) لـ 300 مليون صورة غير مُعلَّمة. بعد ذلك، نُدرّب نموذجًا أكبر من EfficientNet كنموذج طالب على المزيج بين الصور المُعلَّمة والصور ذات التسميات الوهمية. نكرر هذه العملية بإعادة استخدام النموذج الطالب كمُدرِّس. أثناء تدريب النموذج الطالب، نُدخل ضوضاء مثل التقطيع العشوائي (dropout)، والعمق العشوائي (stochastic depth)، وتحسين البيانات عبر تقنية RandAugment، بهدف جعل الطالب يُعامِل البيانات بشكل أفضل من المُدرِّس. يمكن الوصول إلى النماذج من خلال الرابط التالي: https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet. كما يتوفر الكود المصدر من خلال: https://github.com/google-research/noisystudent.