المعلمين الصارمين هم نماذج أفضل: تحسين النتائج في التعلم العميق شبه المشرف من خلال أهداف الاتساق الموزونة بالوزن

الخوارزمية المقترحة حديثًا "الجمع الزمني" (Temporal Ensembling) قد حققت نتائجًا رائدة في عدة مقاييس للتعلم شبه المشرف. تقوم هذه الخوارزمية بحفظ متوسط الحركة الأسي للتنبؤات بالتصنيفات لكل مثال تدريبي، وتعاقب التنبؤات التي تكون غير متسقة مع هذا الهدف. ومع ذلك، بسبب تغيير الأهداف مرة واحدة فقط في كل عصر (epoch)، يصبح الجمع الزمني صعب التعامل عند تعلم مجموعات بيانات كبيرة. لحل هذه المشكلة، نقترح طريقة "المعلم الوسطي" (Mean Teacher)، وهي طريقة تقوم بمتوسط أوزان النموذج بدلاً من التنبؤات بالتصنيفات. كفائدة إضافية، يحسن المعلم الوسطي دقة الاختبار ويتيح التدريب باستخدام عدد أقل من التصنيفات مقارنة بالجمع الزمني. بدون تغيير بنية الشبكة العصبية، يحقق المعلم الوسطي معدل خطأ قدره 4.35% على مجموعة بيانات SVHN باستخدام 250 تصنيفًا، مما يتفوق على الجمع الزمني الذي تم تدريبه باستخدام 1000 تصنيف. كما نوضح أن بنية الشبكة العصبية الجيدة ضرورية للأداء. عند الجمع بين المعلم الوسطي وشبكات الارتداد (Residual Networks)، نحسن الحالة الرائدة في CIFAR-10 باستخدام 4000 تصنيف من 10.55% إلى 6.28%， وفي ImageNet 2012 باستخدام 10% من التصنيفات من 35.24% إلى 9.11%.