مخطط المهمة: توسيع التدريب المسبق متعدد المهام باستخدام الافتتاحية المهمة

استخدام البيانات المُعلَّمة بوعي مُتَّسِقة مع المهام كإشارات مُوجَّهة لمساعدة التعلُّم ذاتيّاً على البيانات غير المُعلَّمة الضخمة أصبح اتجاهًا جديدًا في تدريب نماذج اللغة المُسبقة. تُظهر الدراسات الحالية أن التعلُّم متعدد المهام باستخدام مهام مُعلَّمة ضخمة يعاني من تأثيرات سلبية بين المهام. ولحل هذه التحديات، نقترح إطارًا لتدريب مسبق متعدد المهام مُوجَّهًا بـ "مقدمة المهمة" (task prefix) لاستكشاف العلاقات بين المهام. قمنا بإجراء تجارب واسعة على 40 مجموعة بيانات، وقد أظهرت النتائج أن نموذجنا لا يُعد فقط أساسًا قويًا لعدد واسع من المهام، بل يمكنه أيضًا أن يكون أداة مفيدة لتحليل العلاقات بين المهام. تُظهر العلاقات بين المهام المُعبَّر عنها عبر المقدّمات تطابقًا في أداء التحويل بين المهام، كما تُشير إلى اتجاهات لتعزيز البيانات باستخدام مهام مكملة، مما يساعد نموذجنا على تحقيق نتائج تُوازي مستوى الأداء البشري في لوحات الريادة الخاصة بالاستدلال المشترك. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/cooelf/CompassMTL