لاما 3 يلتقي بـ MoE: إعادة تدوير فعالة

يؤدي توسيع نماذج اللغة الكبيرة (LLMs) إلى تحسين الأداء بشكل كبير، لكنه يترافق مع تكاليف حسابية باهظة. تقدم نماذج المزيج من الخبراء (MoE) بديلاً فعّالاً، حيث تزيد من القدرة دون زيادة متناسبة في متطلبات الحوسبة. ومع ذلك، فإن تدريب نماذج MoE من الصفر يواجه تحديات مثل التعلم الزائد (overfitting) وعدم استقرار التوجيه (routing instability). نقدم وصفة تدريب فعّالة تعتمد على نقاط حفظ مسبقة للنماذج الكثيفة، حيث تم تدريب نموذج MoE يحتوي على 8 خبراء ويدعم أعلى اثنين (Top-2) من نموذج Llama 3-8B باستخدام أقل من 1% من الحوسبة المعتادة المطلوبة للتدريب المسبق. يُظهر نهجنا تحسّناً في الأداء في المهام التطبيقية على معايير أكاديمية، مع تحقيق تحسن بنسبة 2% في الدقة عند الوضع الصفر (0-shot) على معيار MMLU، بينما وصلت كفاءة استخدام فلاتات النموذج (Model FLOPs Utilization - MFU) إلى 46.8% أثناء التدريب باستخدام إطارنا. كما قمنا بدمج تقنية التدوير الفوري (online upcycling) في منصة NeMo، مما يتيح الاستخدام السلس لأوزان النماذج المُدرّبة مسبقاً، ويساهم في تطوير نماذج MoE عالية القدرة بتكاليف منخفضة.