مع استمرار تطور قدرات نماذج اللغة الكبيرة (LLMs)، يتسع نطاق هذه النماذج أيضاً، حيث أصبح وجود مئات المليارات من المعاملات أمراً شائعاً. ومع ذلك، غالباً ما تعني القدرات الأكبر عوائق نشر أكبر: فمتطلبات عشرات الجيجابايت من ذاكرة وحدة معالجة الرسومات (GPU) وموارد الحوسبة تُبقي معظم المطورين محصورين في الحوسبة السحابية.

أطلق فريق Prism ML نموذج اللغة Ternary-Bonsai-27B، وهو نموذج لغوي واسع النطاق من المستوى 27B مع استدلال فعال في جوهره.يستهدف هذا النموذج هذه المشكلة. فهو يعتمد على بنية Qwen3.6-27B، ويستخدم تقنية التكميم الثلاثي الشاملة لضغط أوزان النموذج إلى ثلاث حالات: {-1، 0، +1}. وبالاقتران مع آلية توسيع نطاق الدفعات FP16، فإنه يقلل حجم النموذج بشكل ملحوظ مع الحفاظ على قدرات النموذج الأصلي قدر الإمكان.

تأثير الضغط مباشر تماماً:تم ضغط النموذج الأصلي 27B، الذي كان حجمه حوالي 54 جيجابايت، إلى 7.2 جيجابايت، مما قلل حجمه بحوالي 9.4 مرة، مع الحفاظ على أداء FP16 بقيمة 95% تقريبًا.يمكن الآن نشر النماذج الكبيرة التي كانت تتطلب في السابق خوادم عالية الأداء لتشغيلها باستخدام وحدة معالجة رسومات واحدة أو حتى جهاز كمبيوتر محمول.

إلى جانب ضغط النموذجتم أيضًا تحسين Ternary-Bonsai-27B للسياقات الطويلة وكفاءة الاستدلال.يستخدم النموذج بنية انتباه هجينة، حيث يُحوّل ما يقارب 75% من العمليات الحسابية إلى آلية انتباه خطية أكثر كفاءة، مع الاحتفاظ ببعض آليات الانتباه الكامل للتعامل مع الدلالات المعقدة، ويدعم سياقات تصل إلى 262 ألف رمز. عند معالجة نصوص طويلة تحتوي على 100 ألف رمز، يبلغ ذروة استخدام الذاكرة حوالي 14.7 جيجابايت فقط. يُحسّن مُحرك فك التشفير DSpark المُصاحب سرعة التوليد بمقدار 1.34 مرة تقريبًا، وهو متوافق مع بيئات تشغيل متنوعة، بما في ذلك CUDA وMetal ووحدة المعالجة المركزية.

يتوفر الآن نموذج Ternary-Bonsai-27B على منصة HyperAI (hyper.ai)، ويدعم النشر بنقرة واحدة والاستدعاء السريع، مما يساعد المطورين على تبسيط استخدام النماذج الكبيرة والبدء بسرعة في تطوير تطبيقات الذكاء الاصطناعي. ⬇️

تشغيل عبر الإنترنت:https://go.hyper.ai/V4fXi

المزيد من الدروس التعليمية عبر الإنترنت:

https://hyper.ai/notebooks

تشغيل تجريبي

1. بعد الدخول إلى الصفحة الرئيسية لموقع hyper.ai، حدد صفحة "الدروس التعليمية"، أو انقر فوق "عرض المزيد من الدروس التعليمية"، وحدد "Ternary-Bonsai-27B: 7.2GB Ternary Quantization Inference 27B"، وانقر فوق "تشغيل هذا البرنامج التعليمي".

2. بعد إعادة توجيه الصفحة، انقر فوق "استنساخ" في الزاوية اليمنى العليا لاستنساخ البرنامج التعليمي في الحاوية الخاصة بك.

ملاحظة: يمكنك تبديل اللغات في الزاوية العلوية اليمنى من الصفحة. حاليًا، اللغتان الصينية والإنجليزية متاحتان. سيوضح هذا البرنامج التعليمي الخطوات باللغة الإنجليزية.

3. حدد صور "NVIDIA RTX 5090" و "PyTorch"، وانقر فوق "متابعة تنفيذ المهمة".

4. انتظر حتى يتم تخصيص الموارد. بمجرد أن تتغير الحالة إلى "قيد التشغيل"، انقر فوق "فتح مساحة العمل" للدخول إلى مساحة عمل Jupyter.

عرض التأثير

1. بعد إعادة توجيه الصفحة، انقر على ملف README الموجود على اليسار، ثم انقر على تشغيل في الأعلى.

2. بعد اكتمال العملية، انقر فوق عنوان API الموجود على اليمين لفتح واجهة العرض التوضيحي.