نشر خدمة واجهة برمجة التطبيقات المتوافقة مع OpenAI لنموذج Llama 3.1 405B بنقرة واحدة
البرنامج التعليمي ومقدمة النموذج
يهدف هذا البرنامج التعليمي إلى نشر نموذج Llama-3.1-405B-Instruct-AWQ-INT4 باستخدام خدمة API المتوافقة مع OpenAI، بما في ذلك البرامج التعليمية النصية ودروس الفيديو.
* فيديو تعليمي:[دليل OpenBayes الرسمي] النشر السريع لنماذج Mistral-Large وLlama-3.1-405B فائقة الحجم
هذا النموذج هو إصدار تعليمات حجم المعلمة 405B من سلسلة Llama 3.1 من نماذج اللغة الكبيرة، ويستخدم تقنية التكميم AWQ لتكميم أوزان النموذج بدقة INT4، مما يساعد على تقليل حجم النموذج وتحسين سرعة الاستدلال مع الحفاظ على الأداء. إنه أحد أكبر نماذج المصدر المفتوح المتاحة حاليًا، وهو يدعم الإدخال والإخراج متعدد اللغات، مما يعزز تنوع النموذج وقابليته للتطبيق، مع تقديم نافذة سياق أطول والقدرة على التعامل مع مهام ومحادثات أكثر تعقيدًا.
يشير "API المتوافق مع OpenAI" إلى واجهة برمجة التطبيقات (API) التي تتبع معايير الواجهة والمواصفات التي وضعها OpenAI، مما يسمح للمطورين باستخدام واجهات برمجة التطبيقات هذه للتفاعل مع نماذج لغوية كبيرة (مثل نماذج سلسلة GPT الخاصة بـ OpenAI). تعني هذه التوافقية أن مطوري الطرف الثالث يمكنهم دمج وظائف مماثلة في تطبيقاتهم الخاصة باستخدام نفس تنسيقات الطلب والاستجابة مثل OpenAI. على سبيل المثال، إذا قام مطور ببناء روبوت محادثة باستخدام واجهة برمجة التطبيقات الخاصة بـ OpenAI، فيمكنه التبديل بسهولة إلى خدمة أخرى تتبع أيضًا معيار واجهة برمجة التطبيقات المتوافقة مع OpenAI دون إجراء تغييرات كبيرة على الكود الخاص به.
تتضمن الميزات الرئيسية لواجهة برمجة التطبيقات المتوافقة مع OpenAI ما يلي:
- الطلبات الموحدة: تتبع طلبات واجهة برمجة التطبيقات تنسيق OpenAI، بما في ذلك المعلمات والبنية المطلوبة.
- الاستجابات الموحدة: تتبع استجابات واجهة برمجة التطبيقات أيضًا تنسيق OpenAI، مما يجعل نتائج المعالجة والتحليل متسقة وقابلة للتنبؤ.
- اتساق الوظائف: يوفر وظائف مماثلة لـ OpenAI، مثل إنشاء النصوص والترجمة والتلخيص وما إلى ذلك.
- سهولة التكامل: يمكن للمطورين دمج واجهات برمجة التطبيقات هذه بسهولة في الأنظمة الموجودة، والاستفادة من الواجهات والأنماط المألوفة.
دروس نصية
1. استنسخ الحاوية وابدأ تشغيلها في الزاوية اليمنى العليا من واجهة البرنامج التعليمي
ستقوم واجهة برمجة التطبيقات المتوافقة مع OpenAI تلقائيًا ببدء تشغيل جميع الخدمات بعد النشر الناجح، دون أي تدخل إضافي.
2. انسخ عنوان API إلى صفحة جديدة وافتحها
يمكنك أن ترى أنه يتم عرض رسالة 404 الافتراضية.
3. أضف معلمة إضافية '/v1/models' بعد عنوان API
يمكنك أن ترى أن معلومات نشر النموذج معروضة.
4. في هذه المرحلة، يمكنك الاتصال بالنموذج في أي SDK متوافق مع OpenAI. هنا نأخذ OpenWebUI كمثال - نستخدم OpenWebUI المحلي لدمج واجهة برمجة التطبيقات هذه
ابدأ خدمة OpenWebUI محليًا، وابدأ اتصالاً إضافيًا في "الاتصال الخارجي"، وقم بملء واجهة برمجة التطبيقات في "OpenAPI" و➕ '/v1'. لا يوجد إدخال مخصص "مفتاح API" هنا. انقر فوق حفظ في الزاوية اليمنى السفلية.
5. تم الانتهاء من النشر
يمكنك أن ترى أن واجهة OpenWebUI تحتوي بالفعل على نموذج Llama-3.1-405b. يمكنك ببساطة إدخال رسالة أدناه للتواصل مع النموذج الكبير.
