HyperAIHyperAI

Command Palette

Search for a command to run...

الهروب من النقاط الركودية لتحقيق تعميم فعّال على البيانات غير المتوازنة من حيث الفئات

Harsh Rangwani Sumukh K Aithal Mayank Mishra R. Venkatesh Babu

الملخص

تُظهر مجموعات البيانات الواقعية عدم توازنات متنوعة من الأنواع والدرجات. تُستخدم عادةً عدة تقنيات تعتمد على إعادة وزن الخسارة وتعديل الهامش لتحسين أداء الشبكات العصبية، وخاصةً في الفئات الأقلية. في هذه الدراسة، نحلل مشكلة التعلم المُتَوازِن من حيث الفئات من خلال دراسة هندسة الخسارة للشبكات العصبية التي تم تدريبها باستخدام تقنيات إعادة الوزن وتعديل الهامش. بشكل خاص، نُحلل الكثافة الطيفية لمصفوفة هيسين (Hessian) الخاصة بخسارة الفئة، ونلاحظ أن أوزان الشبكة تتجه نحو نقطة انعطاف (saddle point) في هندسة الخسارة الخاصة بالفئات الأقلية. استنادًا إلى هذه الملاحظة، نجد أيضًا أن طرق التحسين المصممة للهروب من نقاط الانعطاف يمكن استخدامها بشكل فعّال لتحسين التعميم على الفئات الأقلية. كما نُثبت نظريًا وتجريبيًا أن تقنية التقليل الحادّ المُدرك للانحناء (Sharpness-Aware Minimization - SAM)، وهي تقنية حديثة تُشجع على التقارب نحو مُنْتَجات مسطحة (flat minima)، يمكن استخدامها بكفاءة للهروب من نقاط الانعطاف في الفئات الأقلية. يؤدي استخدام SAM إلى زيادة بنسبة 6.2% في الدقة على الفئات الأقلية مقارنةً بتقنية Vector Scaling Loss الأكثر تقدمًا، مما يُسهم في زيادة متوسطة إجمالية بنسبة 4% عبر مجموعات البيانات المُتَوازِنة. يمكن الاطلاع على الشيفرة المصدرية من خلال الرابط التالي: https://github.com/val-iisc/Saddle-LongTail.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp