التحسين الدقيق الفعّال من حيث المعلمات بنموذج قائم على عدد قليل من الأمثلة أفضل وأرخص من التعلّم السياقي

التعلم القائم على السياق بعدد قليل من الأمثلة (ICL) يمكّن النماذج اللغوية المُدرّبة مسبقًا من أداء مهمة لم تُرَ من قبل دون أي تدريب مبني على التدرج، وذلك عن طريق إدخال عدد قليل من الأمثلة التدريبية كجزء من المدخلات. يترتب على ICL تكاليف كبيرة من حيث الحوسبة والذاكرة والتخزين، نظرًا لضرورة معالجة جميع أمثلة التدريب في كل مرة يتم فيها إجراء تنبؤ. أما التخصيص الفعّال من حيث المعلمات (PEFT) (مثل وحدات المُعدّل، وضبط النص المُدخل، وطرق التحديث النادرة، إلخ)، فيقدّم نموذجًا بديلًا يتم فيه تدريب مجموعة صغيرة من المعلمات لتمكين النموذج من أداء المهمة الجديدة. في هذا البحث، نقوم بمقارنة صارمة بين التعلم القائم على السياق بعدد قليل من الأمثلة (ICL) والـ PEFT، ونُظهر أن الأخير يقدّم دقة أعلى، بالإضافة إلى تكاليف حوسبة مُقلّلة بشكل كبير. خلال هذه الدراسة، نقدّم طريقة جديدة لـ PEFT تُسمّى (IA)$^3$، التي تقوم بمضاعفة التنشيطات باستخدام متجهات مُدرّبة، مما يُحقّق أداءً أقوى مع إدخال كمية ضئيلة نسبيًا من المعلمات الجديدة. كما نقترح وصفة بسيطة تعتمد على نموذج T0 تُسمّى T-Few، يمكن تطبيقها على مهام جديدة دون الحاجة إلى تخصيص أو تعديلات مخصصة لكل مهمة. ونُحقّق فعالية T-Few على مهام لم تُرَ من قبل من خلال تطبيقها على معيار RAFT، حيث تم تحقيق أداء فائق للبشر لأول مرة، وتفوّق على الحد الأقصى الممكن في الحد الأدنى بنسبة 6% مطلقة. جميع الشيفرات المستخدمة في تجاربنا متاحة للجمهور.