تشغيل نموذج ChatGLM-6B في OpenBayes

نموذج ChatGLM-6B

 ChatGLM-6B هو نموذج لغة محادثة مفتوح المصدر يدعم اللغتين الصينية والإنجليزية. يعتمد على بنية النموذج اللغوي العام (GLM) ويحتوي على 6.2 مليار معلمة. باستخدام تقنية كمية النموذج، يمكن للمستخدمين تنفيذ مستوى محلي (كمية INT4) على بطاقات الرسوميات المخصصة للمستهلكين مع ما يصل إلى 6 جيجابايت من ذاكرة الفيديو. يستخدم ChatGLM-6B تقنية مشابهة لـ ChatGPT وهو مُحسّن للإجابة على الأسئلة والمحادثات باللغة الصينية. بعد تدريب ثنائي اللغة لحوالي 1T معرف باللغتين الصينية والإنجليزية، وبدعم من التقنيات مثل الإشراف، والتغذية الراجعة الذاتية، والتعلم المعزز بالتغذية الراجعة البشرية، يمكن لـ ChatGLM-6B الذي يحتوي على 6.2 مليار معلمة توليد إجابات تتوافق تمامًا مع التفضيلات البشرية.

النشر السريع

1. افتح صفحة طرفية جديدة

2. أدخل الأمر cd ChatGLM-6B  التبديل إلى الدليل ChatGLM-6B

3. أدخل الأمر python web_demo.py  اضغط على Enter لتشغيل العرض التوضيحي لـ Gradio. قد تستغرق هذه العملية بضع ثوان.

4. بعد ظهور http://0.0.0.0:8080، افتح عنوان API للوصول إليه (يُطلب مصادقة الاسم الحقيقي للوصول إلى عنوان API)

5. افتح عنوان API ويمكنك استخدام ChatGLM-6B