HyperAIHyperAI

Command Palette

Search for a command to run...

تخمين التعليم! التعلم المقلوب يجعل النماذج اللغوية أقوى متعلمين صفرية التدريب

Seonghyeon Ye Doyoung Kim Joel Jang Joongbo Shin Minjoon Seo

الملخص

التدريب الميتا، الذي يُعدّل نموذج اللغة (LM) على مهام متعددة في المرحلة التالية من خلال تعظيم احتمالية العلامة المستهدفة بالنظر إلى تعليمات المهمة والعينة المدخلة، قد عزز من أداء التعميم على المهام الصفرية. ومع ذلك، لا يزال النماذج المدربة باستخدام التدريب الميتا تواجه صعوبة في التعميم على المهام الصعبة التي تحتوي على علامات جديدة لم تُرَ أثناء التدريب الميتا. في هذا البحث، نقترح منهجًا بديلًا للتدريب الميتا يُسمى "التعلم المقلوب" (Flipped Learning)، حيث يُدرّب نموذج اللغة على إنتاج تعليمات المهمة بالنظر إلى العينة المدخلة والعلامة. أثناء الاستنتاج، يختار النموذج المدرب باستخدام التعلم المقلوب، المُسمى Flipped، الخيار الذي يُعتبر أكثر احتمالًا لإنتاج تعليمات المهمة. على 14 مهمة ضمن معيار BIG-bench، يتفوّق النموذج Flipped بحجم 11 مليار على النموذج الصفرية T0-11B، ويدرك حتى النموذج ثلاثي المثال GPT-3 (175B) الذي يبلغ حجمه 16 مرة أكبر، بمتوسط تحسن بنسبة 8.4% و9.7% على التوالي. ويُظهر Flipped تحسينات كبيرة خاصة على المهام التي تحتوي على علامات غير مرئية، حيث يتفوّق على T0-11B بنسبة تصل إلى +20% في متوسط دقة F1. وهذا يشير إلى أن قدرة Flipped القوية على التعميم على المهام تأتي من تحسين قدرته على التعميم على العلامات الجديدة. نُعلن عن إتاحة الكود الخاص بنا عبر الرابط: https://github.com/seonghyeonye/Flipped-Learning.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp