UL2: توحيد نماذج تعلم اللغة

النماذج المدربة مسبقًا الموجودة حاليًا موجهة بشكل عام نحو فئة معينة من المشكلات. حتى الآن، يبدو أنه لا يوجد توافق حول ما هي الهيكلية والتكوين الصحيح لمراحل التدريب المسبق. يقدم هذا البحث إطارًا موحدًا للنماذج المدربة مسبقًا التي تكون فعالة بشكل شامل عبر مجموعة متنوعة من البيانات والتكوينات. نبدأ بتفكيك أنماط العمارة وأهداف التدريب المسبق - وهما مفهومان يُخلط بينهما غالبًا. بعد ذلك، نقدم وجهة نظر عامة وموحدة للإشراف الذاتي في معالجة اللغة الطبيعية ونوضح كيف يمكن تحويل أهداف التدريب المسبق المختلفة إلى بعضها البعض وكيف يمكن أن يكون التداخل بين الأهداف المختلفة فعالاً. ثم نقترح خليط التنقية (Mixture-of-Denoisers - MoD)، وهو هدف تدريب مسبق يجمع بين مجموعة متنوعة من النماذج المدربة مسبقًا. بالإضافة إلى ذلك، نقدم فكرة التبديل بين الأوضاع، حيث يتم ربط التحسين الدقيق للاستخدام النهائي بأهداف تدريبية مسبقة معينة. نقوم بإجراء تجارب استقصائية واسعة النطاق لمقارنة العديد من أهداف التدريب المسبق ونجدها تدفع حدود باريتو (Pareto-frontier) من خلال تفوقها على نماذج T5 و GPT المشابهة في مجموعة متنوعة من الظروف. عن طريق زيادة حجم النموذج إلى 20 مليار معامل، حققنا أفضل الأداء على 50 مهمة معالجة لغوية طبيعية قائمة على التحسين الدقيق الإشرافي المعترف بها جيدًا. كما حقق نموذجنا أيضًا نتائج قوية في التعلم السياقي، حيث تفوق على GPT-3 الذي يحتوي على 175 مليار معامل في SuperGLUE بدون إشراف وتضاعف أداء T5-XXL في الإيجاز بناءً على إشراف واحد. في اختبار MMLU بدون إشراف، حقق UL2 20B أداءً أفضل من نماذج T0 و T5. يعمل UL2 20B أيضًا بشكل جيد مع تعليمات سلسلة الفكر والمنطق، مما يجعله خيارًا جاذبًا للأبحاث المتعلقة بالمنطق بمقياس صغير إلى متوسط يتراوح بين 20 مليار معامل. أخيرًا، قمنا بتطبيق تعديل التعليمات FLAN على نموذج UL2 20B، مما حقق درجات MMLU و Big-Bench تنافسية مع FLAN-PaLM 62B. سنقوم بإصدار نقاط الفحص T5X القائمة على Flax لنماذج UL2 20B و Flan-UL2 20B.