دورة تعليمية عبر الإنترنت: نشر النماذج الكبيرة دون ضغوط! تشغيل Llama 3.1 405B و Mistral Large 2 بنقرة واحدة
في 23 يوليو بالتوقيت المحلي، أصدرت Meta رسميًا Llama 3.1. افتتحت نسخة المعلمة 405B كبيرة الحجم بقوة اللحظة البارزة للنموذج مفتوح المصدر. وفي اختبارات معيارية متعددة، كان أداؤها متوافقًا مع أو حتى متفوقًا على نماذج SOTA الحالية GPT-4o وClaude 3.5 Sonnet.
وفي يوم إصدار Llama 3.1، كتب زوكربيرج أيضًا مقالًا طويلًا بعنوان "الذكاء الاصطناعي مفتوح المصدر هو الطريق إلى الأمام"، قائلاً إن Llama 3.1 سيكون نقطة تحول للصناعة. وفي الوقت نفسه، تتوق الصناعة إلى تجربة القدرات القوية التي أظهرها Llama 3.1، ومن ناحية أخرى، تتطلع أيضًا إلى معرفة كيفية استجابة النماذج الكبيرة ذات المصدر المغلق.
ومن المثير للاهتمام أنه في الوقت الذي كان فيه Llama 3.1 يتنافس على العرش، أطلقت Mistral AI صاروخ Mistral Large 2 لمواجهة طراز 405B بشكل مباشر وأشارت إلى نقطة ضعفه: الصعوبة في النشر.
ليس هناك شك في أن قدرات الأجهزة المطلوبة لمقياس المعلمات 405B ليست عتبة يمكن للمطورين الأفراد عبورها بسهولة، ولا يمكن لمعظم المتحمسين إلا أن ينظروا إليها بتردد. يحتوي طراز Mistral Large 2 على 123B فقط من المعلمات، أي أقل من ثلث 405B من Llama 3.1، كما تم خفض عتبة النشر أيضًا، ولكن الأداء يمكن أن ينافس Llama 3.1.
على سبيل المثال، في اختبار معايير لغات البرمجة المتعددة MultiPL-E، تجاوز متوسط درجة Mistral Large 2 درجة Llama 3.1 405B، وكان متأخرًا بمقدار 1% عن GPT-4o. لقد تجاوزت Llama 3.1 405B في Python وC++ وJava وما إلى ذلك. وكما يقول بيانها الرسمي، فإن Mistral Large 2 تفتح آفاقًا جديدة في مقاييس الأداء / تكلفة الخدمة للتقييم.
على جانب واحد يوجد "السقف" الحالي لمقياس معلمات نموذج المصدر المفتوح، وعلى الجانب الآخر يوجد زعيم العصر الجديد للمصدر المفتوح مع "فعالية التكلفة" العالية للغاية. أعتقد أن الجميع لا يريد أن يفوتها! لا تقلق، أطلقت HyperAI برنامجًا تعليميًا للنشر بنقرة واحدة لنظامي Llama 3.1 405B وMistral Large 2407. لا تحتاج إلى إدخال أي أوامر، ما عليك سوى النقر فوق "استنساخ" لتجربته.
* استخدم Open WebUI لنشر نموذج Llama 3.1 405B بنقرة واحدة:
* استخدم Open WebUI لنشر Mistral Large 2407 123B بنقرة واحدة:
وفي الوقت نفسه، قمنا أيضًا بإعداد دروس تعليمية متقدمة، يمكنك الاختيار حسب الحاجة:
* نشر خدمة واجهة برمجة التطبيقات المتوافقة مع OpenAI لنموذج Llama 3.1 405B بنقرة واحدة:
* نشر خدمة API المتوافقة مع OpenAI لنموذج Mistral Large 2407 123B بنقرة واحدة:
لقد استخدمت Open WebUI لنشر Mistral Large 2407 123B بنقرة واحدة وأجريت اختبارًا. في كثير من الأحيان، فشلت النماذج الكبيرة في تلبية مشكلة "9.9 أو 9.11 أيهما أكبر"، ولم تكن Mistral Large 2 بمنأى عن هذه المشكلة:
أصدقائي المهتمين، تعالوا وجربوها، البرنامج التعليمي التفصيلي هو كما يلي⬇️
تشغيل تجريبي
سيأخذ هذا البرنامج التعليمي النصي "استخدام Open WebUI لنشر Mistral Large 2407 123B بنقرة واحدة" و "نشر خدمة API المتوافقة مع OpenAI من طراز Llama 3.1 405B بنقرة واحدة" كأمثلة لتقسيم خطوات التشغيل لك.
استخدم Open WebUI لنشر Mistral Large 2407 123B بنقرة واحدة
1. قم بتسجيل الدخول إلى hyper.ai، في صفحة البرنامج التعليمي، حدد Deploy Mistral Large 2407 123B باستخدام Open WebUI، ثم انقر فوق تشغيل هذا البرنامج التعليمي عبر الإنترنت.
2. بعد الانتقال إلى الصفحة التالية، انقر فوق "استنساخ" في الزاوية اليمنى العليا لاستنساخ البرنامج التعليمي في الحاوية الخاصة بك.
3. انقر فوق "التالي: حدد معدل التجزئة" في الزاوية اليمنى السفلية.
4. بعد الانتقال إلى الصفحة التالية، حدد "NVIDIA RTX A6000-2" وصورة "vllm"، ثم انقر فوق "التالي: المراجعة".يمكن للمستخدمين الجدد التسجيل باستخدام رابط الدعوة أدناه للحصول على 4 ساعات من RTX 4090 + 5 ساعات من وقت فراغ وحدة المعالجة المركزية!
رابط دعوة حصرية لـ HyperAI (انسخ وافتح في المتصفح):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
5. بعد التأكيد، انقر فوق "متابعة" وانتظر حتى يتم تخصيص الموارد. ستستغرق عملية الاستنساخ الأولى حوالي دقيقتين. عندما تتغير الحالة إلى "قيد التشغيل"، انقر فوق سهم الانتقال بجوار "عنوان API" للانتقال إلى صفحة العرض التوضيحي.يرجى ملاحظة أنه يجب على المستخدمين إكمال مصادقة الاسم الحقيقي قبل استخدام وظيفة الوصول إلى عنوان API.
إذا استمرت المشكلة لأكثر من 10 دقائق وكان النظام لا يزال في حالة "تخصيص الموارد"، فحاول إيقاف الحاوية وإعادة تشغيلها. إذا لم تؤد إعادة التشغيل إلى حل المشكلة، فيرجى الاتصال بخدمة عملاء المنصة على الموقع الرسمي.
6. بعد فتح النسخة التجريبية، يمكنك بدء المحادثة على الفور.
نشر خدمة واجهة برمجة التطبيقات المتوافقة مع OpenAI لنموذج Llama 3.1 405B بنقرة واحدة
1. إذا كنت تريد نشر خدمة API متوافقة مع OpenAI، فحدد "نشر خدمة API المتوافقة مع OpenAI من طراز Llama 3.1 405B بنقرة واحدة" على واجهة البرنامج التعليمي. وبالمثل، انقر فوق "تشغيل البرنامج التعليمي عبر الإنترنت"
2. بعد الانتقال إلى الصفحة التالية، انقر فوق "استنساخ" في الزاوية اليمنى العليا لاستنساخ البرنامج التعليمي في الحاوية الخاصة بك.
3. انقر فوق "التالي: حدد معدل التجزئة" في الزاوية اليمنى السفلية.
4. بعد القفز إلى الصفحة، نظرًا لكون النموذج كبيرًا، يتعين على مورد الحوسبة تحديد "NVIDIA RTX A6000-8"، ولا تزال الصورة تحدد "vllm". انقر فوق "التالي: المراجعة".
5. بعد التأكيد، انقر فوق "متابعة" وانتظر حتى يتم تخصيص الموارد. يستغرق الاستنساخ الأول حوالي 6 دقائق. بعد عرض الحالة على أنها "قيد التشغيل"، سيبدأ تحميل النموذج تلقائيًا.
6. انتقل إلى أسفل الصفحة. عندما يعرض السجل معلومات التوجيه التالية، فهذا يعني أن الخدمة بدأت بنجاح. افتح عنوان API.
7. بعد الفتح، سيتم عرض معلومات 404 بشكل افتراضي. ستؤدي إضافة معلمة إضافية "/v1/models" في المربع الأحمر إلى عرض معلومات نشر النموذج الحالي.
8. ابدأ خدمة Open WebUI محليًا، وابدأ اتصالاً إضافيًا في "الاتصال الخارجي"، واملأ عنوان API السابق في "OpenAPI" وأضف "/v1". لا يوجد "مفتاح API" محدد هنا، فقط أدخله بنفسك. انقر فوق حفظ في الزاوية اليمنى السفلية.
9. بعد الحفظ، يمكنك رؤية Llama-3.1-405B يظهر في "تحديد النموذج". بعد اختيار النموذج، يمكنك بدء المحادثة!
وأخيرًا، أوصي بنشاط تبادل أكاديمي عبر الإنترنت. يمكن للأصدقاء المهتمين مسح رمز الاستجابة السريعة للمشاركة!
