HyperAIHyperAI

Command Palette

Search for a command to run...

DePT: تعديل منسق للنقطة المُحددة

Ji Zhang Shihan Wu Lianli Gao Heng Tao Shen Jingkuan Song

الملخص

يُعد هذا العمل اختراقًا في حل معضلة التناقض بين القاعدة والجديد (BNT) في تعديل النموذج المُوجَّه (prompt tuning)، أي أن النموذج المُعدّل يكون أفضل تعميمًا على المهمة الأساسية (أو الهدف)، يكون أسوأ تعميمًا على المهام الجديدة، والعكس صحيح. وبشكل محدد، من خلال تحليل عميق للخصائص المُتعلمة للمهام الأساسية والجديدة، لاحظنا أن معضلة BNT ناتجة عن مشكلة انحياز القنوات، أي أن الغالبية العظمى من قنوات الخصائص تكون مشغولة بالمعرفة المخصصة للمهمة الأساسية، مما يؤدي إلى انهيار المعرفة المشتركة بين المهام، والتي تُعدّ مهمة جدًا للمهام الجديدة. ولحل هذه المشكلة، نقترح إطارًا يُدعى تعديل النموذج المُفصَّل (DePT)، والذي يقوم بفصل المعرفة المخصصة للمهمة الأساسية عن قنوات الخصائص إلى فضاء خاص منفصل أثناء عملية تعديل النموذج، بهدف الحفاظ على أقصى قدر ممكن من المعرفة المشتركة بين المهام في الفضاء الأصلي للخصائص، مما يُسهم في تحقيق تعميم أفضل في الوضع الصفر (zero-shot) على المهام الجديدة. ومن المهم الإشارة إلى أن إطار DePT متعامد مع الطرق الحالية لتعديل النموذج، وبالتالي يمكنه تحسين جميعها. وتشير التجارب الواسعة على 11 مجموعة بيانات إلى المرونة القوية والفعالية العالية لإطار DePT. يمكن الاطلاع على الكود النموذجي والنمذج المُدرَّب مسبقًا عبر الرابط: https://github.com/Koorye/DePT.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
DePT: تعديل منسق للنقطة المُحددة | مستندات | HyperAI