التعلم ذو الذيل الطويل باستخدام النموذج الأساسي: التحسين الدقيق الشديد يضر

لقد أثارت نموذجية التعديل الدقيق (fine-tuning) في معالجة مهام التعلم ذي الذيل الطويل اهتمامًا كبيرًا منذ ظهور النماذج الأساسية (foundation models). ومع ذلك، لم يتم تقدير تأثير التعديل الدقيق على الأداء في التعلم ذي الذيل الطويل بشكل صريح. في هذا البحث، نكشف أن التعديل الدقيق الشديد قد يؤدي حتى إلى تدهور غير قليل في الأداء بالنسبة للتصنيفات الثانوية (tail classes)، وأن التعديل الدقيق الخفيف أكثر فعالية. يُعزى السبب إلى الظروف غير المتسقة للتصنيفات التي تنتج عن التعديل الدقيق الشديد. بناءً على هذه الملاحظة، طوّرنا خوارزميات التعلم ذي الذيل الطويل ذات التعقيد المنخفض والدقة العالية LIFT بهدف تسهيل التنبؤ السريع والنماذج المدمجة من خلال التعديل الدقيق الخفيف التكيفي. تؤكد التجارب بوضوح أن وقت التدريب والمعلمات المُتعلمة تم تقليلها بشكل كبير مع أداء تنبؤي أكثر دقة مقارنة بالأساليب الرائدة حاليًا. يمكن الحصول على كود التنفيذ من https://github.com/shijxcs/LIFT.