فهم وتحسين التوقف المبكر في التعلم بعلامات ضوضائية

يُعد تأثير التذكّر في الشبكات العصبية العميقة (DNN) عاملاً محوريًا في العديد من الطرق المتطورة لتعلم التصنيف مع وجود أخطاء في التسميات (label-noise learning). للاستفادة من هذه الخاصية، يُعتمد عادةً على تقنية التوقف المبكر (early stopping)، التي تتوقف فيها عملية التحسين في المراحل المبكرة من التدريب. تُحدد الطرق الحالية عادةً نقطة التوقف المبكر من خلال النظر إلى الشبكة العصبية العميقة ككائن موحد. ومع ذلك، يمكن اعتبار الشبكة العصبية العميقة كتركيب من سلسلة من الطبقات، ونلاحظ أن الطبقات اللاحقة في الشبكة تكون أكثر حساسية لوجود أخطاء في التسميات، بينما تكون الطبقات السابقة أكثر مقاومة لهذا النوع من الضوضاء. وبالتالي، فإن اختيار نقطة توقف واحدة للشبكة بأكملها قد يؤدي إلى تأثيرات متعارضة بين الطبقات المختلفة، مما يُضعف الأداء النهائي. في هذا البحث، نقترح فصل الشبكة العصبية العميقة إلى أجزاء مختلفة وتدريبها تدريجيًا لمعالجة هذه المشكلة. بدلًا من استخدام التوقف المبكر الذي يدرب الشبكة بأكملها دفعة واحدة، نبدأ بتدريب الطبقات السابقة للشبكة من خلال تحسين الشبكة باستخدام عدد كبير نسبيًا من الدورات (epochs). أثناء التدريب، نقوم بتدريب الطبقات اللاحقة تدريجيًا باستخدام عدد أصغر من الدورات، مع تثبيت الطبقات السابقة لمنع تأثير التسميات المضطربة. نطلق على الطريقة المقترحة اسم التوقف المبكر التدريجي (Progressive Early Stopping - PES). وعلى الرغم من بساطتها، تُظهر PES مقارنةً بالتقنيات التقليدية للوقف المبكر، نتائج أكثر إيجابية واستقرارًا. علاوةً على ذلك، وباستخدام الجمع بين PES والطرق الحالية لتدريب الشبكات مع تسميات خاطئة، نحقق أداءً من الدرجة الأولى (state-of-the-art) في معايير تصنيف الصور.