تحليل التدريب غير المشرف في ضوء التقدم الحديث

الشبكات العصبية المتشابكة (Convolutional Neural Networks) تؤدي بشكل جيد في مجال التعرف على الأشياء بفضل عدد من التقدمات الحديثة: وحدات الخطية المستقيمة المصححة (ReLU - Rectified Linear Units)، زيادة البيانات، الإفلات (Dropout)، والقواعد الكبيرة للبيانات المصنفة. تم اقتراح البيانات غير المنظمة كوسيلة أخرى لتحسين الأداء. ومع ذلك، فإن التدريب غير المنظَّم المسبق لا يستخدمه الطرق الرائدة حاليًا، مما يطرح السؤال التالي: هل ما زال التدريب غير المنظَّم المسبق مفيدًا بالنظر إلى التقدمات الحديثة؟ وإذا كان كذلك، فمتى؟ نجيب على هذا السؤال في ثلاثة أجزاء: 1) نطور طريقة غير منظَّمة تدمج وحدات الخطية المستقيمة المصححة (ReLU) وتقنيات التنظيم غير المنظَّم الحديثة، 2) نحلل الفوائد التي يوفرها التدريب غير المنظَّم المسبق مقارنة بزيادة البيانات والإفلات على مجموعة بيانات CIFAR-10 مع تغيير نسبة العينات غير المنظَّمة إلى العينات المنظَّمة، 3) نتحقق من نتائجنا على مجموعة بيانات STL-10. نكتشف أن التدريب غير المنظَّم المسبق، كما هو متوقع، يساعد عندما تكون نسبة العينات غير المنظَّمة إلى العينات المنظَّمة عالية، وفيما يُعد مفاجئًا، فإنه يؤذي عندما تكون هذه النسبة منخفضة. كما استخدمنا أيضًا التدريب غير المنظَّم المسبق مع زيادة اللون الإضافية لتحقيق أداء قريب من الأداء الرائد على مجموعة بيانات STL-10.