HyperAIHyperAI

Command Palette

Search for a command to run...

التحسين الدقيق الفعّال من حيث المعلمات بنموذج قائم على عدد قليل من الأمثلة أفضل وأرخص من التعلّم السياقي

Haokun Liu Derek Tam Mohammed Muqeeth Jay Mohta Tenghao Huang Mohit Bansal Colin Raffel

الملخص

التعلم القائم على السياق بعدد قليل من الأمثلة (ICL) يمكّن النماذج اللغوية المُدرّبة مسبقًا من أداء مهمة لم تُرَ من قبل دون أي تدريب مبني على التدرج، وذلك عن طريق إدخال عدد قليل من الأمثلة التدريبية كجزء من المدخلات. يترتب على ICL تكاليف كبيرة من حيث الحوسبة والذاكرة والتخزين، نظرًا لضرورة معالجة جميع أمثلة التدريب في كل مرة يتم فيها إجراء تنبؤ. أما التخصيص الفعّال من حيث المعلمات (PEFT) (مثل وحدات المُعدّل، وضبط النص المُدخل، وطرق التحديث النادرة، إلخ)، فيقدّم نموذجًا بديلًا يتم فيه تدريب مجموعة صغيرة من المعلمات لتمكين النموذج من أداء المهمة الجديدة. في هذا البحث، نقوم بمقارنة صارمة بين التعلم القائم على السياق بعدد قليل من الأمثلة (ICL) والـ PEFT، ونُظهر أن الأخير يقدّم دقة أعلى، بالإضافة إلى تكاليف حوسبة مُقلّلة بشكل كبير. خلال هذه الدراسة، نقدّم طريقة جديدة لـ PEFT تُسمّى (IA)3^33، التي تقوم بمضاعفة التنشيطات باستخدام متجهات مُدرّبة، مما يُحقّق أداءً أقوى مع إدخال كمية ضئيلة نسبيًا من المعلمات الجديدة. كما نقترح وصفة بسيطة تعتمد على نموذج T0 تُسمّى T-Few، يمكن تطبيقها على مهام جديدة دون الحاجة إلى تخصيص أو تعديلات مخصصة لكل مهمة. ونُحقّق فعالية T-Few على مهام لم تُرَ من قبل من خلال تطبيقها على معيار RAFT، حيث تم تحقيق أداء فائق للبشر لأول مرة، وتفوّق على الحد الأقصى الممكن في الحد الأدنى بنسبة 6% مطلقة. جميع الشيفرات المستخدمة في تجاربنا متاحة للجمهور.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp