HyperAIHyperAI

Command Palette

Search for a command to run...

مجموعة التفكير المتسلسل: تحسين التعلم الصفرية والقليلية للنماذج اللغوية من خلال التدريب المُعدّل على التفكير المتسلسل

Seungone Kim Se June Joo Doyoung Kim Joel Jang Seonghyeon Ye Jamin Shin Minjoon Seo

الملخص

تُعرف النماذج اللغوية (LMs) التي يقل عدد معاملاتها عن 100 مليار بـ "الأداء الضعيف" في التفكير التسلسلي (CoT) مقارنة بالنماذج الكبيرة عند حل المهام غير المعروفة. وفي هذا العمل، نهدف إلى تمكين النماذج الأصغر من امتلاك قدرة التفكير خطوة بخطوة من خلال التدريب الموجه بالتعليمات باستخدام تبريرات CoT. ولتحقيق هذا الهدف، نُقدِّم أولًا مجموعة بيانات جديدة للتدريب الموجه بالتعليمات تُسمى "مجموعة CoT"، والتي تُكمّل مجموعة Flan Collection الحالية (التي تحتوي فقط على 9 مهام CoT) بـ 1.84 مليون تبرير تفصيلي تغطي 1060 مهمة إضافية. ونُظهر أن التدريب الدقيق باستخدام مجموعة CoT على نموذج Flan-T5 (3B و11B) يُعزز قدرة النماذج الأصغر على التفكير التسلسلي في المهام غير المعروفة. وعلى معيار BIG-Bench-Hard (BBH)، نُبلغ عن تحسن متوسط قدره +4.34% (لنموذج Flan-T5 3B) و+2.60% (لنموذج Flan-T5 11B) من حيث دقة المهمة في الحالة الصفرية (zero-shot). علاوةً على ذلك، نُظهر أن التدريب الموجه بالتعليمات باستخدام مجموعة CoT يمنح النماذج القدرة على التعلم القليل (few-shot) بشكل أقوى في أربع مهام متخصصة، ما يُحقق تحسنًا بنسبة +2.24% (لـ Flan-T5 3B) و+2.37% (لـ Flan-T5 11B)، حتى يتفوق على ChatGPT عند استخدام أمثلة توضيحية حتى الحد الأقصى للطول، بفارق +13.98%. يُتاح كود العمل، وبيانات مجموعة CoT، ونقاط التحقق (checkpoints) للنماذج بشكل عام للجمهور.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp