HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين التحسين الدقيق من خلال تقليل الانهيار التمثيلي

Armen Aghajanyan; Akshat Shrivastava; Anchit Gupta; Naman Goyal; Luke Zettlemoyer; Sonal Gupta

الملخص

رغم انتشارها الواسع، أظهرت الطرق الحالية لضبط النماذج اللغوية المدربة مسبقًا أنها غير مستقرة عبر إعدادات المعلمات الفائقة، مما دفع إلى الأعمال الحديثة حول طرق المنطقة الموثوقة. في هذا البحث، نقدم طريقة بسيطة وفعالة مستندة إلى نظرية المنطقة الموثوقة تحل محل الأهداف المعادية المستخدمة سابقًا بالضوضاء البارامترية (العينة من توزيع طبيعي أو منتظم)، مما يثني على تغيير التمثيل أثناء ضبط النموذج عند الإمكان دون الإضرار بالأداء. كما نقدم تحليلًا جديدًا يحفز استخدام طرق المنطقة الموثوقة بشكل عام، من خلال دراسة انهيار التمثيل؛ وهو تدهور التمثيلات القابلة للتعميم من النماذج المدربة مسبقًا أثناء ضبطها للمهام النهائية الخاصة. تُظهر التجارب الشاملة أن طريقة ضبط النموذج لدينا تطابق أو تتفوق على أداء طرق المنطقة الموثوقة السابقة في مجموعة من مهام الفهم والتكوين (بما في ذلك DailyMail/CNN، Gigaword، Reddit TIFU، ومقياس GLUE)، مع كونها أسرع بكثير. كما نثبت أنها أقل عرضة لانهيار التمثيل؛ حيث تحتفظ النماذج المدربة مسبقًا بتمثيلات أكثر قابلية للتعميم كل مرة يتم فيها ضبطها.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp