DePT: تعديل منسق للنقطة المُحددة

يُعد هذا العمل اختراقًا في حل معضلة التناقض بين القاعدة والجديد (BNT) في تعديل النموذج المُوجَّه (prompt tuning)، أي أن النموذج المُعدّل يكون أفضل تعميمًا على المهمة الأساسية (أو الهدف)، يكون أسوأ تعميمًا على المهام الجديدة، والعكس صحيح. وبشكل محدد، من خلال تحليل عميق للخصائص المُتعلمة للمهام الأساسية والجديدة، لاحظنا أن معضلة BNT ناتجة عن مشكلة انحياز القنوات، أي أن الغالبية العظمى من قنوات الخصائص تكون مشغولة بالمعرفة المخصصة للمهمة الأساسية، مما يؤدي إلى انهيار المعرفة المشتركة بين المهام، والتي تُعدّ مهمة جدًا للمهام الجديدة. ولحل هذه المشكلة، نقترح إطارًا يُدعى تعديل النموذج المُفصَّل (DePT)، والذي يقوم بفصل المعرفة المخصصة للمهمة الأساسية عن قنوات الخصائص إلى فضاء خاص منفصل أثناء عملية تعديل النموذج، بهدف الحفاظ على أقصى قدر ممكن من المعرفة المشتركة بين المهام في الفضاء الأصلي للخصائص، مما يُسهم في تحقيق تعميم أفضل في الوضع الصفر (zero-shot) على المهام الجديدة. ومن المهم الإشارة إلى أن إطار DePT متعامد مع الطرق الحالية لتعديل النموذج، وبالتالي يمكنه تحسين جميعها. وتشير التجارب الواسعة على 11 مجموعة بيانات إلى المرونة القوية والفعالية العالية لإطار DePT. يمكن الاطلاع على الكود النموذجي والنمذج المُدرَّب مسبقًا عبر الرابط: https://github.com/Koorye/DePT.