التدريب المستمر للنماذج اللغوية للتعلم قليل العينات

أظهرت الدراسات الحديثة أداءً ملحوظًا في تطبيق النماذج اللغوية الكبيرة (LMs) على العديد من تطبيقات معالجة اللغة الطبيعية (NLP). إذ يمكن أن يؤدي تكييف أو إعادة تدريب النموذج اللغوي باستخدام مجموعة نصية غير مُوسومة من المجال إلى أداء أفضل بكثير في المهام النهائية داخل هذا المجال. تطرح هذه الورقة مشكلة توسيع النموذج اللغوي باستمرار من خلال إعادة تدريبه تدريجيًا باستخدام سلسلة من المجموعات النصية غير المُوسومة من المجال، بهدف توسيع معرفته دون نسيان المهارات السابقة. ويهدف هذا النهج إلى تحسين التعلم القائم على عدد قليل من الأمثلة (few-shot) في هذه المجالات. ويُسمى النظام الناتج CPT (Continual PostTraining)، والذي، إلى حد علمنا، يُعد أول نظام لإعادة تدريب متواصل في هذا المجال. وقد أكدت النتائج التجريبية فعالية هذا النهج.