المنبهات ذاتية التنظيم: تكييف النموذج الأساسي دون نسيان

أصبح التعلم بالـPrompt خيارًا فعّالًا بديلًا لضبط النماذج الأساسية، مثل CLIP، لمهام متعددة في المهام اللاحقة. عادةً ما تُدرَّب النماذج باستخدام دالة تكلفة محددة بالمهام، أي خسارة التباديل (cross-entropy loss)، مما يؤدي إلى ارتكاب النماذج لخطأ التكييف الزائد (overfitting) تجاه توزيعات البيانات في المهام اللاحقة، كما يصعب عليها استخلاص السمات العامة المستقلة عن المهمة من نموذج CLIP الثابت. هذا يُؤدي إلى فقدان القدرة الأصلية للنماذج على التعميم. لمعالجة هذه المشكلة، نقدّم في عملنا إطارًا ذاتيًا للتنظيم يُسمّى PromptSRC (التحفيز باستخدام قيود تنظيم ذاتي)، يوجّه النماذج لتحسين تمثيلات مخصصة للمهام ومتميزة عن المهام معًا من خلال نهج مكوّن من ثلاث محاور: (أ) تنظيم التمثيلات المُحفّزة من خلال تعزيز التوافق المتبادل مع النموذج الثابت؛ (ب) تنظيم النماذج باستخدام تجميع ذاتي (self-ensemble) على طول مسار التدريب لتسجيل نقاط القوة التكميلية بين النماذج؛ (ج) تنظيم النماذج باستخدام تنوع النصوص لتخفيف عدم التوازن في تنوع العينات بين الفرع البصري. إلى حد معرفتنا، يُعد هذا أول إطار تنظيم لتعلم النماذج (prompt learning) يتجنب التكييف الزائد من خلال الانتباه المشترك إلى سمات النموذج المُدرّب مسبقًا، ومسار التدريب أثناء التحفيز، وتنوع النصوص. يوجّه PromptSRC بشكل صريح النماذج لتعلم فضاء تمثيلي يُحسّن الأداء في المهام اللاحقة دون التضحية بقدرة CLIP على التعميم. أجرينا تجارب موسعة على 4 معايير، حيث أظهر PromptSRC أداءً متميزًا مقارنة بالأساليب الحالية. تتوفر كودنا والنماذج المُدرّبة مسبقًا للجمهور عبر الرابط التالي: https://github.com/muzairkhattak/PromptSRC.