SMART: تحسين دقيق مقاوم وفعال لنماذج اللغة الطبيعية المُدرَّبة مسبقًا من خلال التحسين المُنظَّم المُبرر

измّت التعلم المن転ي بشكل جذري مشهد بحوث معالجة اللغة الطبيعية (NLP). تُدرب العديد من النماذج الرائدة حاليًا أولًا على مجموعة نصية كبيرة، ثم تُعدّل دقيقًا (fine-tuned) على مهام تطبيقية لاحقة. ومع ذلك، نظرًا لقيود الموارد البياناتية من المهام التطبيقية وسعة النماذج المُدرّبة مسبقًا الهائلة، غالبًا ما يؤدي التحسين المُكثف إلى تعلّم مفرط (overfitting) للنموذج على بيانات المهام التطبيقية، ويؤدي إلى نسيان المعرفة المكتسبة مسبقًا. لمعالجة هذه المشكلة بطريقة أكثر دقة وعلمية، نقترح إطارًا حسابيًا جديدًا للتعديل الدقيق (fine-tuning) المُتميّز بالمتانة والكفاءة لنموذج لغوي مُدرّب مسبقًا. ويتضمن الإطار المقترح جزأين رئيسيين: 1. تنظيم يُعزز الاستمرارية (Smoothness-inducing regularization)، الذي يُدار بكفاءة سعة النموذج؛ و2. طريقة تحسين نقطة بروغمان المقربة (Bregman proximal point optimization)، وهي فئة من الطرق المبنية على مناطق الثقة (trust-region methods)، وتُسهم في منع نسيان المعرفة. تُظهر التجارب أن الطريقة المقترحة تحقق أداءً يُعدّ الأفضل على مستوى الحالة (state-of-the-art) في عدة معايير معيارية لمعالجة اللغة الطبيعية.