كوزيرز لتدريب قوي للشبكات العصبية ضد التسميات الضوضائية

تملك الشبكات العصبية الحديثة القدرة على التكيف الزائد مع التسميات الضوضائية التي تظهر بكثرة في مجموعات البيانات الواقعية. وعلى الرغم من التقدم الكبير الذي تم إحرازه، تظل التقنيات الحالية محدودة في تقديم ضمانات نظرية لأداء الشبكات العصبية التي تُدرَّب باستخدام تسميات ضوضائية. في هذا العمل، نقترح منهجًا جديدًا يتمتع بضمانات نظرية قوية لتدريب الشبكات العميقة بشكل مرن ضد التسميات الضوضائية. الفكرة الأساسية وراء منهجنا تكمن في اختيار مجموعات فرعية موزونة (تُعرف بـ "الكوريت") من النقاط النظيفة التي تُنتج مصفوفة جاكوبيان تقريبًا ذات رتبة منخفضة. ثم نُثبت أن خوارزمية التناقص التدريجي (gradient descent) المطبقة على هذه المجموعات لا تُعاني من التكيف الزائد مع التسميات الضوضائية. وتدعم تجاربنا الواسعة نظريتنا، وتكشف أن الشبكات العميقة التي تُدرَّب على مجموعاتنا تحقق أداءً متفوقًا بشكل ملحوظ مقارنةً بأفضل التقنيات الحالية، مثل زيادة بنسبة 6% في الدقة على مجموعة CIFAR-10 عند وجود 80% من التسميات الضوضائية، وزيادة بنسبة 7% في الدقة على مجموعة mini Webvision.