HyperAIHyperAI

Command Palette

Search for a command to run...

مخطط المهمة: توسيع التدريب المسبق متعدد المهام باستخدام الافتتاحية المهمة

Zhuosheng Zhang Shuohang Wang Yichong Xu Yuwei Fang Wenhao Yu Yang Liu Hai Zhao Chenguang Zhu Michael Zeng

الملخص

استخدام البيانات المُعلَّمة بوعي مُتَّسِقة مع المهام كإشارات مُوجَّهة لمساعدة التعلُّم ذاتيّاً على البيانات غير المُعلَّمة الضخمة أصبح اتجاهًا جديدًا في تدريب نماذج اللغة المُسبقة. تُظهر الدراسات الحالية أن التعلُّم متعدد المهام باستخدام مهام مُعلَّمة ضخمة يعاني من تأثيرات سلبية بين المهام. ولحل هذه التحديات، نقترح إطارًا لتدريب مسبق متعدد المهام مُوجَّهًا بـ "مقدمة المهمة" (task prefix) لاستكشاف العلاقات بين المهام. قمنا بإجراء تجارب واسعة على 40 مجموعة بيانات، وقد أظهرت النتائج أن نموذجنا لا يُعد فقط أساسًا قويًا لعدد واسع من المهام، بل يمكنه أيضًا أن يكون أداة مفيدة لتحليل العلاقات بين المهام. تُظهر العلاقات بين المهام المُعبَّر عنها عبر المقدّمات تطابقًا في أداء التحويل بين المهام، كما تُشير إلى اتجاهات لتعزيز البيانات باستخدام مهام مكملة، مما يساعد نموذجنا على تحقيق نتائج تُوازي مستوى الأداء البشري في لوحات الريادة الخاصة بالاستدلال المشترك. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/cooelf/CompassMTL


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
مخطط المهمة: توسيع التدريب المسبق متعدد المهام باستخدام الافتتاحية المهمة | مستندات | HyperAI