النماذج اللغوية المُعدّلة دقيقًا هي متعلمون صفرية المُدخلات

تستعرض هذه الورقة طريقة بسيطة لتحسين قدرة النماذج اللغوية على التعلم الصفرية (zero-shot learning). نُظهر أن التكييف بالتعليمات — وهو تحسين النماذج اللغوية على مجموعة من المهام الموصوفة من خلال تعليمات — يُحسّن بشكل كبير الأداء في المهام غير المرئية. نأخذ نموذجًا لغويًا مُدرّبًا مسبقًا بحجم 137 مليار معلمة، ونُكّيفه بالتعليمات على أكثر من 60 مهمة في مجال معالجة اللغة الطبيعية (NLP)، مع صياغة هذه المهام باستخدام قوالب تعليمات بلغة طبيعية. نقيّم هذا النموذج المُكَوَّن بالتعليمات، الذي نسميه FLAN، على أنواع مهام لم يُرَ فيها من قبل. يُظهر FLAN تحسينًا كبيرًا في الأداء مقارنة بالنموذج الأصلي غير المُعدّل، ويتفوّق على النموذج الصفرية GPT-3 بحجم 175 مليار معلمة في 20 من أصل 25 مهمة تم تقييمها. بل ويتفوّق FLAN على GPT-3 في الوضع القائم على أمثلة قليلة (few-shot) بفارق كبير في مهام مثل ANLI، RTE، BoolQ، AI2-ARC، OpenbookQA، وStoryCloze. تُظهر دراسات التحليل التجريبي أن عدد مجموعات البيانات المستخدمة في التدريب، وحجم النموذج، ووجود التعليمات بلغة طبيعية، هي العوامل الأساسية في نجاح التكييف بالتعليمات.