HyperAIHyperAI
منذ 2 أشهر

التكافؤ الزمني للتعلم شبه المشرف عليه

Samuli Laine; Timo Aila
التكافؤ الزمني للتعلم شبه المشرف عليه
الملخص

في هذا البحث، نقدم طريقة بسيطة وفعالة لتدريب الشبكات العصبية العميقة في إطار شبه مراقب، حيث يتم تسمية جزء صغير فقط من بيانات التدريب. نقدم تقنية التجميع الذاتي (self-ensembling)، حيث نشكل تنبؤًا مشتركًا للعلامات غير المعروفة باستخدام مخرجات الشبكة قيد التدريب في عصور مختلفة (epochs)، وأهم من ذلك تحت ظروف تنظيم وإضافة مدخلات مختلفة. يمكن توقع أن يكون هذا التنبؤ الجماعي أفضل كمتنبئ للعلامات غير المعروفة من مخرجات الشبكة في أحدث عصر تدريبي، وبالتالي يمكن استخدامه كهدف للتدريب. باستخدام طريقتنا، حققنا رقماً قياسياً جديداً في معيارين قياسيين لتعلم شبه المراقبة، حيث خفضنا معدل خطأ تصنيف (غير معزز) من 18.44% إلى 7.05% في مجموعة بيانات SVHN مع 500 علامة ومن 18.63% إلى 16.55% في مجموعة بيانات CIFAR-10 مع 4000 علامة، وانخفض بشكل إضافي إلى 5.12% و12.16% عند تمكين التعزيزات القياسية. بالإضافة إلى ذلك، حصلنا على تحسين واضح في دقة تصنيف CIFAR-100 عن طريق استخدام الصور العشوائية من مجموعة بيانات Tiny Images كمدخلات إضافية غير مرتبة أثناء التدريب. أخيراً، نظهر تحملًا جيدًا للأخطاء في العلامات.

التكافؤ الزمني للتعلم شبه المشرف عليه | أحدث الأوراق البحثية | HyperAI