نشر DeepSeek R1 7B باستخدام vLLM
🔥 نشر سريع للغاية لـ DeepSeek-R1 7B! يساعدك vLLM + Open-WebUI على إنجاز ذلك بنقرة واحدة!🚀
1. مقدمة البرنامج التعليمي
DeepSeek-R1 هو نموذج لغوي فعال وخفيف الوزن أطلقته DeepSeek في عام 2025، والذي يدعم مهام متعددة مثل إنشاء النص والحوار والترجمة والتلخيص. ويعتمد على تكنولوجيا تقطير المعرفة، مع الأخذ في الاعتبار متطلبات الأداء العالي وقوة الحوسبة المنخفضة، وهو مناسب للنشر السريع والتطبيقات العملية.
⚡ لماذا تختار نشر vLLM؟
- 🚀 التفكير السريع للغاية:PagedAttention + FlashInfer، دع LLM تطير!
- 💾 إدارة الذاكرة الذكية:قم بمعالجة النصوص الطويلة بكفاءة وقلل من استخدام ذاكرة الفيديو!
- 🎯 تحسين النواة:يدعم GPTQ، وAWQ، وINT4/8 والكميات الأخرى، ويعزز الأداء إلى أقصى حد!
- 🌍 متوافق مع واجهة برمجة التطبيقات OpenAI:الهجرة السلسة، ابدأ الآن!
- 🔥 دعم الأجهزة المتعددة:NVIDIA، AMD، Intel، TPU…قم بتشغيله أينما تريد!
💡 Open-WebUI يجعل التفاعل أسهل!
- 🌟إدارة عبر الويب، جاهزة للاستخدام!
- 🎨 واجهة بديهية، ونشر منخفض العتبة!
- 🔗دعم نماذج متعددة، تجربة شاملة!
يستخدم هذا البرنامج التعليمي نموذج DeepSeek-R1-Distill-Qwen-7B كعرض توضيحي، وموارد الحوسبة المستخدمة هي "بطاقة RTX4090 واحدة".
2. خطوات التشغيل
1. بعد تشغيل الحاوية، انقر على عنوان API للدخول إلى واجهة الويب (إذا ظهرت رسالة "Bad Gateway"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لكبر حجم النموذج، يُرجى الانتظار لمدة دقيقتين تقريبًا ثم المحاولة مرة أخرى).
2. بعد الدخول إلى صفحة الويب، يمكنك بدء محادثة مع النموذج
أدخل رقم حسابك:admin@123.com
كلمة المرور: 123456
يلاحظ:
1. يدعم هذا البرنامج التعليمي "البحث عبر الإنترنت". بعد تشغيل هذه الوظيفة، سوف تتباطأ سرعة الاستدلال، وهو أمر طبيعي.
2. يمكن عرض استنتاج vLLM الخلفي في /home/vllm.log
إعدادات المحادثة الشائعة
1. درجة الحرارة
- يتحكم في عشوائية الإخراج، عادةً في النطاق من 0.0 إلى 2.0.
- قيمة منخفضة (مثل 0.1):أكثر يقينًا، متحيزًا نحو الكلمات الشائعة.
- قيمة عالية (مثل 1.5):محتوى أكثر عشوائية، وربما أكثر إبداعًا ولكنه غير منتظم.
2. أخذ العينات من أعلى إلى أسفل
- قم بأخذ عينة من الكلمات k فقط ذات الاحتمالية الأعلى واستبعد الكلمات ذات الاحتمالية المنخفضة.
- k صغير (على سبيل المثال 10):مزيد من اليقين، وأقل عشوائية.
- k كبير (على سبيل المثال 50):مزيد من التنوع، ومزيد من الابتكار.
3. أخذ العينات من أعلى p (أخذ العينات من النواة، أخذ العينات من أعلى p)
- قم باختيار مجموعة الكلمات التي يصل احتمالها التراكمي إلى p، ولا تقم بتثبيت قيمة k.
- قيمة منخفضة (مثل 0.3):مزيد من اليقين، وأقل عشوائية.
- قيمة عالية (مثل 0.9):مزيد من التنوع، وتحسين الطلاقة.
4. عقوبة التكرار
- يتحكم في معدل تكرار النص، عادةً ما يكون بين 1.0-2.0.
- قيمة عالية (مثل 1.5):تقليل التكرار وتحسين قابلية القراءة.
- قيمة منخفضة (مثل 1.0):لا توجد عقوبة، قد يتسبب ذلك في تكرار النموذج للكلمات والجمل.
5. الحد الأقصى للرموز (الحد الأقصى لطول الجيل)
- قم بتحديد الحد الأقصى لعدد الرموز التي يولدها النموذج لتجنب الإخراج الطويل للغاية.
- النطاق النموذجي:50-4096 (اعتمادًا على الطراز المحدد).
التبادل والمناقشة
🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓ 