نشر Llama3-70B باستخدام Ollama و Open WebUI
مقدمة البرنامج التعليمي
هذا البرنامج التعليمي عبارة عن حزمة تشغيل بنقرة واحدة من Ollama + Open WebUI.كل ما عليك فعله هو اتباع الخطوات أدناه لإدخال الأمر لتشغيل النموذج الكبير Llama3 70B بنقرة واحدة.
بعد بدء تشغيل Ollama و 0pen Webui على التوالي وفقًا لـ "طريقة التشغيل" أدناه، يمكنك استخدامه باستخدام "عنوان API" على اليمين.نظرًا لحجم النموذج الكبير، سيقوم Ollama بتحميل النموذج ببطء، يرجى التحلي بالصبر. سيبدأ Ollama رسميًا بتحميل النموذج فقط عندما تقوم بإدخال كلمة المطالبة في النموذج الكبير لأول مرة. وبالتالي، سيستغرق الإجابة على السؤال الأول حوالي 3 دقائق، وبعد ذلك ستصبح استجابة النموذج أسرع وأسرع.
مقدمة إلى Ollama و Open WebUI
مع استمرار زيادة حجم النماذج، أصبح نشر هذه النماذج الكبيرة بشكل فعال يشكل تحديًا. Ollama وOpen WebUI هما أداتان عمليتان للغاية، حيث توفران إدارة قوية للنماذج الخلفية ووظائف التفاعل مع واجهة الواجهة الأمامية على التوالي. يجعل استخدام هاتين الأداتين معًا نشر النماذج الكبيرة وإدارتها أسهل.
مقدمة النموذج
وفيما يلي مثال على الحوار النموذجي:
الموديل متوفر بحجمين: 8B و 70B. 8 مليار دولار أمريكي للنشر والتطوير الفعال على وحدات معالجة الرسوميات المخصصة للمستهلك، و70 مليار دولار أمريكي لتطبيقات الذكاء الاصطناعي الأصلية واسعة النطاق.
Llama3 هو الأحدث في عائلة Llama من نماذج الذكاء الاصطناعي التوليدي المفتوح، وهو تحسن كبير مقارنة بـ Llama 2 والنماذج الأخرى المتاحة للجمهور:
- تم تدريبه على مجموعة بيانات أكبر بسبع مرات من Llama 2؛
- يدعم نصًا بطول 8K؛
- بفضل مفرداته التي تصل إلى 128 ألف رمز، فإنه قادر على ترميز اللغة بكفاءة أكبر.
تم وضع النموذج في مكان عام ولا يشغل أي مساحة تخزين شخصية.
كيفية الركض
إنشاء محطة طرفية جديدة وبدء تشغيل Ollama
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve
إنشاء محطة طرفية جديدة وبدء تشغيل Open Webui
bash /openbayes/input/input1/open-webui/backend/start.sh
الصفحة المفتوحة
- انسخ عنوان API الموجود على اليمين والصقه في المتصفح لفتح صفحة Open Webui
- قم بتسجيل الدخول عبر admin@example.com / adminadmin
