HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 21 أيام

كل تفعيل يُعزز: تكبير المُفكّر العام لـ 1 تريليون من أساسيات اللغة المفتوحة

كل تفعيل يُعزز: تكبير المُفكّر العام لـ 1 تريليون من أساسيات اللغة المفتوحة

الملخص

نُقدِّم "لينغ 2.0"، وهو سلسلة من النماذج اللغوية الأساسية مُصمَّمة لتعزيز التفكير التمثيلي، مُستندة إلى المبدأ القائل بأن كل تفعيل (activation) يُعزز القدرة على التفكير. صُمِّمت لتمتد من عشرات المليارات إلى تريليونات المُعاملات (parameters) ضمن نموذج موحد مُتعدِّد الخبراء (Mixture-of-Experts - MoE)، مع التركيز على كثافة نادرة عالية، واتساق عابر للمقاييس، وفعالية مُوجَّهة بقوانين التوسع التجريبية. تضم السلسلة ثلاث نماذج غير-مُفكِّرة (مُوجَّهة بالتعليم) – "لينغ-مِيني-2.0"، و"لينغ-فلاش-2.0"، و"لينغ-1T" – تتراوح معاييرها الإجمالية من 16B إلى 1T، وتُحقِّق كفاءة في استخدام الحوسبة الفعالة تصل إلى 7 أضعاف مقارنة بالنماذج الكثيفة المُعادلة. يدمج لينغ 2.0 تطورات منسقة عبر معمارية النموذج، والتدريب المُسبق، والتدريب اللاحق، والبنية التحتية: نموذج MoE ذو كثافة نادرة عالية مع تقنية التفاعل المتعدد للطرق (MTP) لتحسين الكفاءة في التفكير، وبيانات مُصممة خصيصًا لدعم التفكير، وتفعيل التفكير التسلسلي أثناء التدريب (mid-training CoT)، وتحسين مُبني على التقويم التأثيري (DFT، Evo-CoT)، بالإضافة إلى تدريب كامل بـ FP8 مع خطوط أنابيب مُختلفة بدقة عالية. وعلى مقياس التريليون، يُشكِّل لينغ-1T حدودًا باريتو جديدة فيما يتعلق بدقة التفكير مقابل الكفاءة الحسابية، مُظهِرًا أن التفعيل النادر، عندما يتم توافقه بشكل صحيح مع أهداف التفكير، يمكن أن يُمكِّن من ذكاء قابل للتوسع وكفؤ. بشكل جماعي، يوفِّر لينغ 2.0 أساسًا متماسكًا ومفتوحًا وكفؤًا لدفع علوم التفكير والتفكير المستقبلية، بما في ذلك سلسلة رينغ التي تُبنى على نفس الأساس.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
كل تفعيل يُعزز: تكبير المُفكّر العام لـ 1 تريليون من أساسيات اللغة المفتوحة | الأوراق البحثية | HyperAI