نشر نموذج Mixtral:7B-v0.3 باستخدام Ollama وOpen WebUI

مقدمة البرنامج التعليمي

هذا البرنامج التعليمي عبارة عن حزمة تشغيل بنقرة واحدة من Ollama + Open WebUI.كل ما عليك فعله هو اتباع الخطوات أدناه وإدخال الأمر لتشغيل النموذج الكبير Mixtral:7b v0.3 بنقرة واحدة.

بالمقارنة مع Mistral:7B-v0.2، يتمتع Mixtral:7B-v0.3 بالمزايا التالية:

تم توسيع حجم المفردات من 32000 إلى 32768
دعم رمز v3
دعم استدعاءات الوظيفة

تم وضع النموذج في مكان عام ولا يشغل أي مساحة تخزين شخصية.

بعد بدء تشغيل Ollama و 0pen Webui على التوالي وفقًا للمحتويات التالية، يمكنك استخدامه باستخدام "عنوان API" على اليمين.

كيفية الركض

1. تنزيل Ollama

curl -fsSL https://ollama.com/install.sh | sh

2. ابدأ أولاما

OLLAMA_MODELS=/openbayes/input/input0 ollama serve

3. قم بإنشاء محطة طرفية جديدة وابدأ فتح Webui

cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh

4. افتح الصفحة

انسخ عنوان API الموجود على اليمين والصقه في المتصفح لفتح صفحة Open Webui

تسجيل الدخول باستخدام admin@example.com / adminadmin

بعد تحديد النموذج، يمكنك استخدامه