الهروب من النقاط الركودية لتحقيق تعميم فعّال على البيانات غير المتوازنة من حيث الفئات

تُظهر مجموعات البيانات الواقعية عدم توازنات متنوعة من الأنواع والدرجات. تُستخدم عادةً عدة تقنيات تعتمد على إعادة وزن الخسارة وتعديل الهامش لتحسين أداء الشبكات العصبية، وخاصةً في الفئات الأقلية. في هذه الدراسة، نحلل مشكلة التعلم المُتَوازِن من حيث الفئات من خلال دراسة هندسة الخسارة للشبكات العصبية التي تم تدريبها باستخدام تقنيات إعادة الوزن وتعديل الهامش. بشكل خاص، نُحلل الكثافة الطيفية لمصفوفة هيسين (Hessian) الخاصة بخسارة الفئة، ونلاحظ أن أوزان الشبكة تتجه نحو نقطة انعطاف (saddle point) في هندسة الخسارة الخاصة بالفئات الأقلية. استنادًا إلى هذه الملاحظة، نجد أيضًا أن طرق التحسين المصممة للهروب من نقاط الانعطاف يمكن استخدامها بشكل فعّال لتحسين التعميم على الفئات الأقلية. كما نُثبت نظريًا وتجريبيًا أن تقنية التقليل الحادّ المُدرك للانحناء (Sharpness-Aware Minimization - SAM)، وهي تقنية حديثة تُشجع على التقارب نحو مُنْتَجات مسطحة (flat minima)، يمكن استخدامها بكفاءة للهروب من نقاط الانعطاف في الفئات الأقلية. يؤدي استخدام SAM إلى زيادة بنسبة 6.2% في الدقة على الفئات الأقلية مقارنةً بتقنية Vector Scaling Loss الأكثر تقدمًا، مما يُسهم في زيادة متوسطة إجمالية بنسبة 4% عبر مجموعات البيانات المُتَوازِنة. يمكن الاطلاع على الشيفرة المصدرية من خلال الرابط التالي: https://github.com/val-iisc/Saddle-LongTail.