HyperAIHyperAI

Command Palette

Search for a command to run...

PALT: نقل نماذج اللغة الخفيف المعلمة لاستكمال مخطط المعرفة

Jianhao Shen Chenguang Wang Ye Yuan Jiawei Han Heng Ji Koushik Sen Ming Zhang Dawn Song

الملخص

تقدم هذه الورقة منهجًا مُقلِّلًا من المعلمات لتعلم الانتقال في النماذج اللغوية المُدرَّبة مسبقًا (LM) لإنجاز مخططات المعرفة (KG). بدلًا من التدريب الدقيق (fine-tuning)، الذي يُعدِّل جميع معلمات النموذج اللغوي، نقوم فقط بتعديل عدد قليل من المعلمات الجديدة مع الإبقاء على معلمات النموذج الأصلي ثابتة. نحقق ذلك من خلال إعادة صياغة مهمة إكمال مخططات المعرفة كمهمة "ملء الفراغات"، وإدخال مشفر مُقلِّل المعلمات فوق النماذج اللغوية الأصلية. نُظهر أن، من خلال تعديل عدد أصغر بكثير من المعلمات مقارنة بالتدريب الدقيق، يمكن للنماذج اللغوية أن تنتقل بشكل غير تافه إلى معظم المهام، وتصل إلى مستوى تنافسي مع أفضل النماذج السابقة. على سبيل المثال، نتفوّق على النماذج التي تعتمد على التدريب الدقيق الكامل في معيار إكمال مخططات المعرفة، وذلك بتعديل ما يعادل 1% فقط من المعلمات. يمكن الوصول إلى الشيفرة والبيانات من خلال الرابط: \url{https://github.com/yuanyehome/PALT}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp