التنظيم المبكر للتعلم يمنع تذكّر العلامات الضوضائية

نُقدّم إطارًا جديدًا لإجراء التصنيف باستخدام التعلم العميق في ظل وجود تسميات خاطئة (مُشوشة). لوحظ أن الشبكات العصبية العميقة، عند تدريبها على تسميات خاطئة، تُظهر أولًا تطابقًا مع البيانات التدريبية التي تحمل تسميات صحيحة خلال مرحلة "التعلم المبكر"، قبل أن تصل في النهاية إلى حفظ أمثلة ذات تسميات خاطئة. نُثبت أن ظهور التعلم المبكر والحفظ (المُعَلّم) هما ظاهرتان أساسيتان في مهام التصنيف عالية الأبعاد، حتى في النماذج الخطية البسيطة، ونقدّم تفسيرًا نظريًا لهذه الظاهرة في هذا السياق. مستوحين من هذه النتائج، نطوّر تقنية جديدة لمهام التصنيف ذات التسميات المشوشة، وتستفيد من تقدم مرحلة التعلم المبكر. على عكس الطرق الحالية التي تستخدم مخرجات النموذج خلال مرحلة التعلم المبكر للكشف عن الأمثلة ذات التسميات الصحيحة، ثم تتجاهلها أو تحاول تصحيح التسميات الخاطئة، نسلك مسارًا مختلفًا ونستغل التعلم المبكر من خلال الت régularization (التوسيع التحتي). يعتمد نهجنا على عنصرين رئيسيين: أولاً، نستفيد من تقنيات التعلم شبه المُراقبة لإنتاج احتمالات الهدف بناءً على مخرجات النموذج. ثانيًا، نصمم حدًا تقويميًا (ترميزًا تقويميًا) يوجه النموذج نحو هذه الاحتمالات، مما يمنع بشكل غير مباشر حفظ التسميات الخاطئة. يُظهر الإطار الناتج مرونة عالية أمام التسميات المشوشة على عدة معايير قياسية وقواعد بيانات واقعية، حيث يحقق نتائج تُقارن بأفضل النتائج الحالية في المجال.