كل تفعيل يُعزز: تكبير المُفكّر العام لـ 1 تريليون من أساسيات اللغة المفتوحة

الملخص
نُقدِّم "لينغ 2.0"، وهو سلسلة من النماذج اللغوية الأساسية مُصمَّمة لتعزيز التفكير التمثيلي، مُستندة إلى المبدأ القائل بأن كل تفعيل (activation) يُعزز القدرة على التفكير. صُمِّمت لتمتد من عشرات المليارات إلى تريليونات المُعاملات (parameters) ضمن نموذج موحد مُتعدِّد الخبراء (Mixture-of-Experts - MoE)، مع التركيز على كثافة نادرة عالية، واتساق عابر للمقاييس، وفعالية مُوجَّهة بقوانين التوسع التجريبية. تضم السلسلة ثلاث نماذج غير-مُفكِّرة (مُوجَّهة بالتعليم) – "لينغ-مِيني-2.0"، و"لينغ-فلاش-2.0"، و"لينغ-1T" – تتراوح معاييرها الإجمالية من 16B إلى 1T، وتُحقِّق كفاءة في استخدام الحوسبة الفعالة تصل إلى 7 أضعاف مقارنة بالنماذج الكثيفة المُعادلة. يدمج لينغ 2.0 تطورات منسقة عبر معمارية النموذج، والتدريب المُسبق، والتدريب اللاحق، والبنية التحتية: نموذج MoE ذو كثافة نادرة عالية مع تقنية التفاعل المتعدد للطرق (MTP) لتحسين الكفاءة في التفكير، وبيانات مُصممة خصيصًا لدعم التفكير، وتفعيل التفكير التسلسلي أثناء التدريب (mid-training CoT)، وتحسين مُبني على التقويم التأثيري (DFT، Evo-CoT)، بالإضافة إلى تدريب كامل بـ FP8 مع خطوط أنابيب مُختلفة بدقة عالية. وعلى مقياس التريليون، يُشكِّل لينغ-1T حدودًا باريتو جديدة فيما يتعلق بدقة التفكير مقابل الكفاءة الحسابية، مُظهِرًا أن التفعيل النادر، عندما يتم توافقه بشكل صحيح مع أهداف التفكير، يمكن أن يُمكِّن من ذكاء قابل للتوسع وكفؤ. بشكل جماعي، يوفِّر لينغ 2.0 أساسًا متماسكًا ومفتوحًا وكفؤًا لدفع علوم التفكير والتفكير المستقبلية، بما في ذلك سلسلة رينغ التي تُبنى على نفس الأساس.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.