HyperAIHyperAI

Command Palette

Search for a command to run...

فهم وتحسين التوقف المبكر في التعلم بعلامات ضوضائية

Yingbin Bai Erkun Yang Bo Han Yanhua Yang Jiatong Li Yinian Mao Gang Niu Tongliang Liu

الملخص

يُعد تأثير التذكّر في الشبكات العصبية العميقة (DNN) عاملاً محوريًا في العديد من الطرق المتطورة لتعلم التصنيف مع وجود أخطاء في التسميات (label-noise learning). للاستفادة من هذه الخاصية، يُعتمد عادةً على تقنية التوقف المبكر (early stopping)، التي تتوقف فيها عملية التحسين في المراحل المبكرة من التدريب. تُحدد الطرق الحالية عادةً نقطة التوقف المبكر من خلال النظر إلى الشبكة العصبية العميقة ككائن موحد. ومع ذلك، يمكن اعتبار الشبكة العصبية العميقة كتركيب من سلسلة من الطبقات، ونلاحظ أن الطبقات اللاحقة في الشبكة تكون أكثر حساسية لوجود أخطاء في التسميات، بينما تكون الطبقات السابقة أكثر مقاومة لهذا النوع من الضوضاء. وبالتالي، فإن اختيار نقطة توقف واحدة للشبكة بأكملها قد يؤدي إلى تأثيرات متعارضة بين الطبقات المختلفة، مما يُضعف الأداء النهائي. في هذا البحث، نقترح فصل الشبكة العصبية العميقة إلى أجزاء مختلفة وتدريبها تدريجيًا لمعالجة هذه المشكلة. بدلًا من استخدام التوقف المبكر الذي يدرب الشبكة بأكملها دفعة واحدة، نبدأ بتدريب الطبقات السابقة للشبكة من خلال تحسين الشبكة باستخدام عدد كبير نسبيًا من الدورات (epochs). أثناء التدريب، نقوم بتدريب الطبقات اللاحقة تدريجيًا باستخدام عدد أصغر من الدورات، مع تثبيت الطبقات السابقة لمنع تأثير التسميات المضطربة. نطلق على الطريقة المقترحة اسم التوقف المبكر التدريجي (Progressive Early Stopping - PES). وعلى الرغم من بساطتها، تُظهر PES مقارنةً بالتقنيات التقليدية للوقف المبكر، نتائج أكثر إيجابية واستقرارًا. علاوةً على ذلك، وباستخدام الجمع بين PES والطرق الحالية لتدريب الشبكات مع تسميات خاطئة، نحقق أداءً من الدرجة الأولى (state-of-the-art) في معايير تصنيف الصور.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp