بaidu تطلق مصدر ERNIE 4.5 المفتوح: سلسلة نماذج الذكاء الاصطناعي من 0.3 مليار إلى 424 مليار معلمة

بايدو تطلق مصدرًا مفتوحًا لسلسلة نماذج ERNIE 4.5: من 0.3 مليار إلى 424 مليار معلمة أعلنت شركة بايدو رسميًا عن إطلاق سلسلة نماذجها الأحدث ERNIE 4.5، وهي مجموعة قوية من النماذج الأساسية المصممة لتحسين فهم اللغة، والاستدلال، والتكوين. تشمل هذه الإصدارات عشرة نماذج مختلفة، ابتداءً من النماذج الكثيفة البالغة 0.3 مليار معلمة وصولاً إلى هياكل خبراء مختلطة (MoE) الضخمة، حيث يبلغ أكبر نموذج 424 مليار معلمة. أصبحت هذه النماذج متاحة الآن بشكل مجاني للمجتمع البحثي والمطورين العالمي عبر منصة Hugging Face، مما يتيح إجراء تجارب مفتوحة ووصول أوسع للتكنولوجيا اللغوية الصينية والمتعددة اللغات المتطورة. مراجعة تقنية لنماذج ERNIE 4.5 تعتمد سلسلة ERNIE 4.5 على الإصدارات السابقة من نماذج ERNIE من خلال تقديم هياكل نماذج متقدمة، بما في ذلك التصميمات الكثيفة والخبراء المختلطون (MoE). تعتبر النماذج MoE خاصة بارزة في زيادة عدد المعلمات بكفاءة؛ حيث يقوم النموذجان ERNIE 4.5-MoE-3B وERNIE 4.5-MoE-47B بتفعيل مجموعة فرعية فقط من الخبراء لكل رمز إدخال (غالبًا ما يكون 2 من أصل 64 خبيرًا)، مما يحافظ على عدد المعلمات النشطة قابلاً للإدارة مع الحفاظ على قوة التعبير وقدرات التعميم للنموذج. تم تدريب نماذج ERNIE 4.5 باستخدام مزيج من التدريب الدقيق تحت الإشراف (SFT)، والتعلم التعزيزي مع ملاحظات البشر (RLHF)، وتقنيات التوافقي (Contrastive Alignment). يشمل مجمع التدريب 5.6 تريليون رمز عبر مجالات متنوعة باللغتين الصينية والإنجليزية، باستخدام أنبوب التدريب المتعدد المراحل الخاص ببايدو. النماذج الناتجة تظهر دقة عالية في مهام اتباع التعليمات، والحوار المتعدد الأدوار، والتكوين الطويل، والاستدلال. نماذج ERNIE 4.5 وأعمال التراخيص المفتوحة تشمل إصدارات ERNIE 4.5 العشرة التالية: ERNIE 4.5-Dense-0.3B ERNIE 4.5-Dense-1B ERNIE 4.5-Dense-3B ERNIE 4.5-Dense-10B ERNIE 4.5-Dense-26B ERNIE 4.5-MoE-3B ERNIE 4.5-MoE-47B ERNIE 4.5-MoE-179B ERNIE 4.5-MoE-340B ERNIE 4.5-MoE-424B على سبيل المثال، يفعّل نموذج MoE-47B فقط 3 مليارات معلمة أثناء الاستدلال، بينما يحتوي على إجمالي 47 مليار معلمة. وبالمثل، يعتبر نموذج 424 مليار معلمة—the largest ever released by Baidu—استخدام استراتيجيات التفعيل النادر لجعل الاستدلال قابلًا للتنفيذ والتوسع. تدعم هذه النماذج كلاً من التكميل العددي ذو الدقة العائمة 16 بت (FP16) والتكميل العددي ذو الدقة الثابتة 8 بت (INT8) لتحقيق نشر كفء. مقاييس الأداء تظهر نماذج ERNIE 4.5 تحسينات كبيرة في عدة مهام رئيسية للتعامل مع اللغات الصينية والمتعددة. وفقًا للتقرير الفني الرسمي: في مهام اتباع التعليمات، يستفيد النماذج من التدريب التوافقي الدقيق، مما يؤدي إلى تحسين التوافق مع نوايا المستخدم وتقليل معدلات الوهم مقارنة بإصدارات ERNIE السابقة. التطبيقات والنشر تم تحسين نماذج ERNIE 4.5 لتناسب نطاقًا واسعًا من التطبيقات: تدعم بعض النماذج طول سياق يصل إلى 128 ألف رمز، مما يجعل العائلة ERNIE 4.5 مناسبة لمهام تتطلب ذاكرة واستدلالًا عبر وثائق طويلة أو جلسات. الخلاصة تمثل سلسلة ERNIE 4.5 خطوة مهمة في تطوير الذكاء الاصطناعي بمصدر مفتوح، بتقديم مجموعة متنوعة من النماذج المصممة لتحقيق قابلية التوسع، والتعامل مع اللغات المتعددة، وتوافق التعليمات. يؤكد قرار بايدو بإطلاق نماذج تتراوح بين النماذج الخفيفة ذات 0.3 مليار معلمة والنموذج الضخم الذي يحتوي على 424 مليار معلمة على التزامها بالبحث في الذكاء الاصطناعي الشامل والشفاف. مع الوثائق الشاملة، والتوافر المفتوح على منصة Hugging Face، والدعم لتحقيق نشر كفء، فإن ERNIE 4.5 معدة لتسريع التقدم العالمي في فهم وتكوين اللغة الطبيعية. يمكنك الاطلاع على الورقة البحثية والنماذج على منصة Hugging Face. يعود الفضل في هذا البحث إلى الباحثين المشاريع فيه. كما يمكنك متابعتنا على تويتر، وانضم إلى مجتمع Reddit للتعلم الآلي البالغ عدده 100 ألف عضو، واشترك في نشرتنا الإخبارية.