خسارة المرونة التوزيعية للتعلم الطويل الذيل

غالبًا ما تكون البيانات الواقعية غير متوازنة وطويلة الذيل، ولكن النماذج العميقة تواجه صعوبة في التعرف على الفئات النادرة في وجود فئات شائعة. ولحل مشكلة البيانات غير المتوازنة، يحاول معظم الدراسات توازن البيانات أو دالة الخسارة أو المصنف لتقليل التحيز في التصنيف لصالح الفئات المهيمنة (الرأسية). أما تمثيلات الميزات الخفية التي تُتعلم باستخدام بيانات غير متوازنة، فقد حظيت باهتمام أقل نسبيًا. نُظهر أن جزء استخراج الميزات في الشبكات العميقة يتأثر بشدة بهذا التحيز. ونُقترح خسارة جديدة مستندة إلى نظرية المقاومة، والتي تحفّز النموذج على تعلم تمثيلات عالية الجودة لكل من الفئات الرأسية والذيلية. وعلى الرغم من أن الشكل العام لخسارة المقاومة قد يكون صعب الحساب، فإننا نُشتق حدًا علويًا سهل الحساب يمكن تقليله بكفاءة. يؤدي هذا الإجراء إلى تقليل التحيز في التمثيل لصالح الفئات الرأسية في فضاء الميزات، ويحقق نتائج متفوقة على معايير CIFAR100-LT وImageNet-LT وiNaturalist الطويلة الذيل. ونلاحظ أن التدريب باستخدام المقاومة يُحسّن دقة التعرف على الفئات الذيلية مع الحفاظ إلى حد كبير على دقة الفئات الرأسية. ويمكن دمج خسارة المقاومة الجديدة مع تقنيات متعددة لتوازن المصنف، كما يمكن تطبيقها على تمثيلات متعددة في طبقات مختلفة من النموذج العميق.