هونغيوان-أ13ب من تنسنت: نموذج لغوي مفتوح المصدر يتضمن مزيج خبراء بـ 13 مليار وسيط نشطة ودعم السياق الطويل وميزات التفكير المزدوج

فريق هونيوان التابع لشركة تينسنت قد أطلق نموذجًا جديدًا للغة هو "هونيوان-أ13ب"، وهو نموذج مفتوح المصدر يستند إلى بنية مزيج الخبراء (MoE) المتناثرة. رغم أن هذا النموذج يتألف من 80 مليار معلمة إجمالية، فإن فقط 13 مليار معلمة تكون نشطة أثناء الاستدلال، مما يوفر توازنًا فعالًا بين الأداء والتكلفة الحاسوبية. هونيوان-أ13ب تم تصميمه للنشر الكفء والاستدلال القوي، ويحقق أفضل الأداء في مجموعة من المقاييس مثل BFCL-v3، τ-Bench، C3-Bench، وComplexFuncBench، حيث يتفوق غالبًا على النماذج الأكبر حجمًا في مهام استخدام الأدوات والتعامل مع السياقات طويلة الأمد. البنية: MoE متناثرة مع 13 مليار معلمة نشطة في جوهره، يتبع هونيوان-أ13ب تصميم MoE مفصلًا يشمل خبيرًا مشتركًا واحدًا و64 خبيرًا غير مشتركين، يتم تنشيط 8 خبراء في كل مرور أمامي. هذا التصميم، الذي يدعمه تجارب التوسع، يضمن ثبات الأداء بينما يحافظ على تكلفة الاستدلال منخفضة. يتكون النموذج من 32 طبقة، يستخدم انشقاقات SwiGLU، حجم مفردات يبلغ 128 ألف، ويدمج انتباه مجموعة الاستعلامات (GQA) لتحسين كفاءة الذاكرة أثناء الاستدلال في السياقات الطويلة. التدريب المُحسّن: من التدريب الأولي إلى التكيف مع السياقات الطويلة يشمل نهج التدريب المُحسّن لـ هونيوان-أ13ب ثلاث مراحل رئيسية: التدريب الأولي باستخدام 20 تيرابايت من الرموز، ثم التقليل السريع، وأخيرًا التكيف مع السياقات الطويلة. في المرحلة الأخيرة، يتم توسيع نافذة السياق أولاً إلى 32 ألف رمز، ثم إلى 256 ألف رمز باستخدام ترميز الموضع ذو الوعي بالوظائف الخطية (NTK-aware positional encoding)، مما يضمن ثبات الأداء حتى في السياقات الطويلة جدًا. القدرة على التفكير ثنائية الوضع: التفكير السريع والبطيء من أبرز ميزات هونيوان-أ13ب هو قدرته على التفكير في سلسلة الأفكار بوضعين مختلفين: وضع التفكير السريع ذو الانخفاض الزمني للرد على الاستفسارات الروتينية، ووضع التفكير البطيء المُتعدد الخطوات للأنظمة المعقدة. يمكن التحكم في هذه الأوضاع عبر نظام بسيط للعلامات: "/no think" للاستدلال السريع، و"/think" للتفكير التأملي. هذا المرونة تسمح للمستخدمين بتكييف تكلفة الحساب مع تعقيد المهمة. التحسين بعد التدريب: التعلم التعزيزي باستخدام نماذج جائزة خاصة بالمهمة يشمل خط أنابيب التحسين بعد التدريب لموديل هونيوان-أ13ب تدريبًا مراقبًا متعدد المراحل (SFT) والتعلم التعزيزي (RL) عبر مهام محددة للتفكر وأخرى عامة. تتضمن مراحل RL مكافآت تعتمد على النتيجة واستعراضات خاصة بالأدوات، بما في ذلك بيئات تنفيذ آمنة للكود واستعراضات قواعدية للوكلاء. خلال تدريب الوكلاء، أنتج الفريق سيناريوهات متنوعة لاستخدام الأدوات مع أدوار مثل المخطط والتحقق من الصحة وأدوات أخرى، مما أدى إلى توليد أكثر من 20,000 تركيبة تنسيق. هذا ترسيخ قدرة هونيوان-أ13ب على تنفيذ سير عمل عالمية حقيقية مثل معالجة الجداول الإلكترونية، البحث عن المعلومات، والتفكير الهيكلي. التقييم: أداء متفوق في المهام العميلية يظهر هونيوان-أ13ب نتائج قوية في مجموعة متنوعة من مهام معالجة اللغة الطبيعية: في مقاييس الفهم السياقي طويل الأمد، مثل PenguinScrolls، حصل على درجة 87.7، وهي قريبة جدًا من درجة جيميني 2.5 برو. على مقاييس RULER، يحافظ على أداء عالٍ (73.9) حتى في السياقات التي يصل طولها إلى 64 ألف إلى 128 ألف رمز، متفوقًا على نماذج أكبر مثل Qwen3-A22B وDeepSeek R1 في قوة تحمل السياق. تحسين الاستدلال والنشر هونيوان-أ13ب متكامل تمامًا مع أدوات الاستدلال الشائعة مثل vLLM، SGLang، وTensorRT-LLM. يدعم تنسيقات الدقة مثل W16A16، W8A8، وكاش KV بتنسيق FP8، بالإضافة إلى ميزات مثل التخزين المؤقت التلقائي للبادئة ومليء الأقسام. يحقق نموذج الاستدلال هذا سرعة تدفق تصل إلى 1981.99 رمز/ثانية عند إدخال دفعة بحجم 32 (2048 رمز إدخال، 14336 رمز إخراج)، مما يجعله عمليًا للتطبيقات في الوقت الحقيقي. المصدر المفتوح والتأثير الصناعي متوفر على منصات Hugging Face وGitHub، يُطلق هونيوان-أ13ب بموجب ترخيص مصدر مفتوح مرن. تم تصميمه للاستخدام في البحث والإنتاج بكفاءة، خاصة في بيئات حساسة للتأخير والمهمات ذات السياقات الطويلة. من خلال الجمع بين قابلية التوسع في MoE، القدرة على التفكير العميلي، والوصول عبر المصدر المفتوح، يوفر هونيوان-أ13ب بديلًا جذابًا للنماذج الثقيلة للأداء، مما يمكّن من تجربة أوسع نطاقًا ونشر دون التضحية بالقدرات.