فيشر: تباينات المتجهات المتجهة الثابتة لتحسين التعميم خارج التوزيع

التعلم النموذجية القوية التي تُظهر أداءً جيدًا في التعميم عند حدوث تغيرات في توزيع البيانات أمر بالغ الأهمية للتطبيقات الواقعية. ولتحقيق هذا الهدف، شهدت السنوات الأخيرة ازديادًا كبيرًا في الاهتمام بتعلم النموذج من خلال تدريبه على عدة مجالات تدريبية في آن واحد، مع تطبيق أنواع مختلفة من التماثل (الثبات) عبر هذه المجالات. ومع ذلك، تفشل جميع الأساليب الحالية في إظهار فوائد منهجية تحت بروتوكولات تقييم مُحكمة. في هذه الورقة، نقدّم من regularization جديدًا يُسمّى Fishr، يُفرض التماثل بين المجالات في فضاء مشتقات دالة الخسارة: وبشكل خاص، يتم مطابقة التباينات على مستوى المجالات للderivatives عبر مجالات التدريب المختلفة. يُبنى هذا النهج على العلاقة الوثيقة بين تباين المشتقات، ومعلومات فيشر، ومشتقة هيسيان دالة الخسارة: وبشكل خاص، نُظهر أن Fishr يُوجّه في النهاية تضاريس دالة الخسارة على مستوى المجالات لتتلاقى محليًا حول الأوزان النهائية. تُظهر التجارب الواسعة فعالية Fishr في التعميم خارج توزيع البيانات. وبشكل لافت، يُحسّن Fishr الأداء الراهن في معيار DomainBed، ويُظهر أداءً أفضل باستمرار من مبدأ تقليل المخاطر التجريبية (Empirical Risk Minimization). يمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/alexrame/fishr.