HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم الفعّال في وقت الاختبار: التخصيص النشط للنماذج الكبيرة للغة

Jonas Hübotter Sascha Bongni Ido Hakimi Andreas Krause

الملخص

تُعتمد الجهود الحديثة في ضبط النماذج اللغوية غالبًا على اختيار البيانات تلقائيًا، وغالبًا ما يتم ذلك باستخدام استرجاع أقرب الجيران من مجموعات بيانات ضخمة. ومع ذلك، نُظهر نظريًا أن هذا النهج يميل إلى اختيار بيانات مكررة، مما يحد من فعاليته أو حتى يُضر بأدائه. لمعالجة هذه المشكلة، نقدّم SIFT، وهي خوارزمية اختيار بيانات صُمّمت لتقليل عدم اليقين بشأن استجابة النموذج عند إعطاء مُدخل معين، حيث تُوحّد أفكار الاسترجاع والتعلم النشط. في حين أن استرجاع أقرب الجيران غالبًا ما يفشل في وجود تكرار للمعلومات، فإن SIFT تأخذ بعين الاعتبار تكرار المعلومات، وتحسّن الربح الإجمالي في المعلومات من الأمثلة المختارة. نركّز تقييماتنا على ضبط النموذج في وقت الاختبار للنمذجة اللغوية المخصصة للمُدخلات على مجموعة بيانات Pile، ونُظهر أن SIFT تتفوّق باستمرار على استرجاع أقرب الجيران، مع تكلفة حوسبة ضئيلة جدًا. علاوةً على ذلك، نُظهر أن تقديرات عدم اليقين لدينا يمكنها التنبؤ بزيادة الأداء الناتجة عن ضبط النموذج في وقت الاختبار، ونستخدم هذا التنبؤ لتطوير خوارزمية تكيفية تُخصص الحوسبة في وقت الاختبار وفقًا للربح الفعلي في الأداء. نقدّم مكتبة activeft\texttt{activeft}activeft (ضبط نشط) التي يمكن استخدامها كبديل مباشر لاسترجاع أقرب الجيران.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم الفعّال في وقت الاختبار: التخصيص النشط للنماذج الكبيرة للغة | مستندات | HyperAI