تخمين التعليم! التعلم المقلوب يجعل النماذج اللغوية أقوى متعلمين صفرية التدريب

التدريب الميتا، الذي يُعدّل نموذج اللغة (LM) على مهام متعددة في المرحلة التالية من خلال تعظيم احتمالية العلامة المستهدفة بالنظر إلى تعليمات المهمة والعينة المدخلة، قد عزز من أداء التعميم على المهام الصفرية. ومع ذلك، لا يزال النماذج المدربة باستخدام التدريب الميتا تواجه صعوبة في التعميم على المهام الصعبة التي تحتوي على علامات جديدة لم تُرَ أثناء التدريب الميتا. في هذا البحث، نقترح منهجًا بديلًا للتدريب الميتا يُسمى "التعلم المقلوب" (Flipped Learning)، حيث يُدرّب نموذج اللغة على إنتاج تعليمات المهمة بالنظر إلى العينة المدخلة والعلامة. أثناء الاستنتاج، يختار النموذج المدرب باستخدام التعلم المقلوب، المُسمى Flipped، الخيار الذي يُعتبر أكثر احتمالًا لإنتاج تعليمات المهمة. على 14 مهمة ضمن معيار BIG-bench، يتفوّق النموذج Flipped بحجم 11 مليار على النموذج الصفرية T0-11B، ويدرك حتى النموذج ثلاثي المثال GPT-3 (175B) الذي يبلغ حجمه 16 مرة أكبر، بمتوسط تحسن بنسبة 8.4% و9.7% على التوالي. ويُظهر Flipped تحسينات كبيرة خاصة على المهام التي تحتوي على علامات غير مرئية، حيث يتفوّق على T0-11B بنسبة تصل إلى +20% في متوسط دقة F1. وهذا يشير إلى أن قدرة Flipped القوية على التعميم على المهام تأتي من تحسين قدرته على التعميم على العلامات الجديدة. نُعلن عن إتاحة الكود الخاص بنا عبر الرابط: https://github.com/seonghyeonye/Flipped-Learning.