الضبط الدقيق ذو الكفاءة في استخدام المعلمات

ضبط المعلمات بكفاءة (PEFT) هي تقنية تستخدم في معالجة اللغة الطبيعية (NLP) لتحسين أداء نماذج اللغة المدربة مسبقًا في مهام لاحقة محددة. يتضمن ذلك إعادة استخدام معلمات نموذج مدرب مسبقًا وضبطه على مجموعة بيانات أصغر، مما يوفر موارد الحوسبة والوقت مقارنة بتدريب النموذج بالكامل من الصفر. يحقق PEFT هذه الكفاءة عن طريق تجميد طبقات معينة من النموذج المدرب مسبقًا وضبط الطبقات القليلة الأخيرة فقط والتي تخص المهمة التالية. بهذه الطريقة، يمكن تكييف النموذج مع المهام الجديدة مع تكلفة حسابية أقل وأمثلة أقل تصنيفًا. على الرغم من أن PEFT يعد مفهومًا جديدًا نسبيًا، فقد تم ممارسة تحديث الطبقة الأخيرة من النموذج في مجال الرؤية الحاسوبية منذ تقديم التعلم بالتحويل.

في عام 2024، اقترح فريق سون ماوسونغ من قسم علوم الكمبيوتر بجامعة تسينغهوا نتيجة بحثية ذات صلة "ضبط المعلمات بكفاءة لنماذج اللغة المدربة مسبقًا على نطاق واسعنُشرت هذه الورقة البحثية في مجلة Nature Machine Intelligence. تُعرّف هذه النتيجة البحثية مشكلة ضبط دلتا وتصفها، وتُراجع الأبحاث السابقة من خلال إطار عمل موحد. يمكن تقسيم أساليب ضبط دلتا إلى ثلاث مجموعات: أساليب قائمة على الإضافة، وأساليب قائمة على المواصفات، وأساليب قائمة على إعادة تحديد المعاملات. كما اقترح فريق البحث إطارًا نظريًا من منظوري التحسين والتحكم الأمثل لتوجيه تصميم الهيكل والخوارزمية اللاحقين، وأجرى مقارنة تجريبية شاملة وتحليلًا للأداء لأكثر من 100 مهمة معالجة طبيعية للغة.