HyperAIHyperAI

Command Palette

Search for a command to run...

SMART: تحسين دقيق مقاوم وفعال لنماذج اللغة الطبيعية المُدرَّبة مسبقًا من خلال التحسين المُنظَّم المُبرر

Haoming Jiang Pengcheng He Weizhu Chen Xiaodong Liu Jianfeng Gao Tuo Zhao

الملخص

измّت التعلم المن転ي بشكل جذري مشهد بحوث معالجة اللغة الطبيعية (NLP). تُدرب العديد من النماذج الرائدة حاليًا أولًا على مجموعة نصية كبيرة، ثم تُعدّل دقيقًا (fine-tuned) على مهام تطبيقية لاحقة. ومع ذلك، نظرًا لقيود الموارد البياناتية من المهام التطبيقية وسعة النماذج المُدرّبة مسبقًا الهائلة، غالبًا ما يؤدي التحسين المُكثف إلى تعلّم مفرط (overfitting) للنموذج على بيانات المهام التطبيقية، ويؤدي إلى نسيان المعرفة المكتسبة مسبقًا. لمعالجة هذه المشكلة بطريقة أكثر دقة وعلمية، نقترح إطارًا حسابيًا جديدًا للتعديل الدقيق (fine-tuning) المُتميّز بالمتانة والكفاءة لنموذج لغوي مُدرّب مسبقًا. ويتضمن الإطار المقترح جزأين رئيسيين: 1. تنظيم يُعزز الاستمرارية (Smoothness-inducing regularization)، الذي يُدار بكفاءة سعة النموذج؛ و2. طريقة تحسين نقطة بروغمان المقربة (Bregman proximal point optimization)، وهي فئة من الطرق المبنية على مناطق الثقة (trust-region methods)، وتُسهم في منع نسيان المعرفة. تُظهر التجارب أن الطريقة المقترحة تحقق أداءً يُعدّ الأفضل على مستوى الحالة (state-of-the-art) في عدة معايير معيارية لمعالجة اللغة الطبيعية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp