بايدو تطلق النموذج الأساسي لإيرني ٥٫٥ فلاش

أصدر فريق إرني من شركة بايدو نموذج إرني 5.5 فلاش الأساسي، وهو نموذج لغوي قائم على البنية المختلطة من الخبراء المتفرقة، يضم 280 مليار معلمة ينشط منها 14 مليار لكل رمز، ودُرب من الصفر على 33.5 تريليون رمز. ويجمع النموذج بين سياق تدريبي يصل إلى 128 ألف رمز ودعم سياق للملاءمة والاستدلال يصل إلى مليون رمز. ويأتي الإصدار في نهاية مرحلة التدريب المسبق دون تدريب أوسط أو لاحق، ما يجعله نقطة انطلاق للتكيف مع المجالات، وضبط التعليمات، وأبحاث التعلم المعزز، ويسمح للمطورين بالبناء على القدرات العامة المكتسبة بدلا من خوض تكاليف التدريب الضخم من جديد. وركز المشروع على التوازن بين القدرة والكفاءة في كل مكوّن. فاستخدم آلية انتباه هجينة تجمع بين الانتباه الكامن والانتباه المضغوط بشدة، مع بضع طبقات فقط تحفظ الوصول الكامل إلى الرموز السابقة، فيما تضغط طبقات أخرى السياق إلى ترميز مكثف لخفض ذاكرة التخزين المؤقت والحوسبة. كما اعتمد التوجيه متعدد المسارات لتحسين اختيار الخبراء، وروابط فائقة مقيده بالمتشعبات لتقوية انتقال المعلومات بين الطبقات، ورأس مخرجات متعدد القصوى لكبح الذيل غير المرجح دون إسقاط الاحتمالات المعقولة، إضافة إلى آلية إيكو للاستفادة من الطبقة النهائية في التنبؤ بالرموز المستقبلية. كما استخدم مقسما جديدا يضم نحو 200 ألف علامة، مع ترميز الأرقام من اليمين إلى اليسار لتحسين المعالجة الرقمية. ودعم البنية أنظمة تدريب طورت بالتوازي مع النموذج، تشمل تحسين ميون الموزع ونواة انتباه متطورة لمعالجة الأبعاد الكبيرة لرؤوس الانتباه. وتظهر النتائج على اختبارات متعددة قوة ملحوظة في الفحص، والمنطق، والبرمجة، والسياقات الطويلة، رغم أن أغلب الطبقات تعتمد على سياق مضغوط. ويتوفر النموذج على منصة هغينغ فيس بصيغتين رئيسيتين، ويرافقه نشر عبر أنظمة خدمة النماذج الشائعة، مع خطة لإطلاق نسخة مُدرَّبة لاحقا تكمّل القدرات التي يوفرها النموذج الأساسي.