تحسين التحسين الدقيق من خلال تقليل الانهيار التمثيلي

رغم انتشارها الواسع، أظهرت الطرق الحالية لضبط النماذج اللغوية المدربة مسبقًا أنها غير مستقرة عبر إعدادات المعلمات الفائقة، مما دفع إلى الأعمال الحديثة حول طرق المنطقة الموثوقة. في هذا البحث، نقدم طريقة بسيطة وفعالة مستندة إلى نظرية المنطقة الموثوقة تحل محل الأهداف المعادية المستخدمة سابقًا بالضوضاء البارامترية (العينة من توزيع طبيعي أو منتظم)، مما يثني على تغيير التمثيل أثناء ضبط النموذج عند الإمكان دون الإضرار بالأداء. كما نقدم تحليلًا جديدًا يحفز استخدام طرق المنطقة الموثوقة بشكل عام، من خلال دراسة انهيار التمثيل؛ وهو تدهور التمثيلات القابلة للتعميم من النماذج المدربة مسبقًا أثناء ضبطها للمهام النهائية الخاصة. تُظهر التجارب الشاملة أن طريقة ضبط النموذج لدينا تطابق أو تتفوق على أداء طرق المنطقة الموثوقة السابقة في مجموعة من مهام الفهم والتكوين (بما في ذلك DailyMail/CNN، Gigaword، Reddit TIFU، ومقياس GLUE)، مع كونها أسرع بكثير. كما نثبت أنها أقل عرضة لانهيار التمثيل؛ حيث تحتفظ النماذج المدربة مسبقًا بتمثيلات أكثر قابلية للتعميم كل مرة يتم فيها ضبطها.