ELF: إطار عمل مبكر للخروج في التصنيف ذي التوزيع الطويل الذيل

غالبًا ما تتبع البيئة الطبيعية توزيعًا بيانات طويل الذيل، حيث تمثل فئة قليلة من الفئات معظم الأمثلة. يؤدي هذا التوزيع الطويل الذيل إلى تجاوز التصنيف (Overfitting) للصفة الغالبة. وللتخفيف من هذه المشكلة، اعتمد الحلول السابقة غالبًا استراتيجيات إعادة توازن الفئات مثل إعادة أخذ العينات من البيانات وتعديل دالة الخسارة. ومع ذلك، وبسبب التعامل مع كل مثال ضمن فئة بشكل متساوٍ، تفشل هذه الأساليب في أخذ بعين الاعتبار مفهوم "صعوبة المثال"، أي أن بعض الأمثلة داخل كل فئة تكون أسهل في التصنيف من غيرها. ولإدراج مفهوم الصعوبة هذا في عملية التعلم، نقترح إطارًا يُسمى "ELF" (EarLy-exiting Framework). أثناء التدريب، يتعلم ELF الخروج المبكر (early-exit) للمواضيع السهلة من خلال فروع ثانوية متصلة بشبكة أساسية (backbone). ويحقق هذا الإطار فائدة مزدوجة: (1) تركز الشبكة العصبية بشكل متزايد على الأمثلة الصعبة، نظرًا لأنها تساهم بشكل أكبر في مجموع خسارة الشبكة؛ و(2) يُحرر مساحة إضافية من قدرة النموذج لتمييز الأمثلة الصعبة. أظهرت النتائج التجريبية على مجموعتي بيانات كبيرتين، وهما ImageNet LT وiNaturalist'18، أن ELF يمكنه تحسين الدقة المتطورة حاليًا بنسبة تزيد عن 3 بالمائة. كما يأتي هذا التحسن مع ميزة إضافية تتمثل في تقليل ما يصل إلى 20٪ من عمليات التقييم (FLOPS) أثناء الاستدلال. ويُعدّ ELF مكملًا للعمل السابق، ويمكنه الاندماج بسلاسة مع مجموعة متنوعة من الأساليب الحالية لمعالجة تحدي التوزيعات الطويلة الذيل.