Exécution du modèle ChatGLM-6B dans OpenBayes

Modèle ChatGLM-6B

 ChatGLM-6B est un modèle de langage conversationnel open source qui prend en charge le chinois et l'anglais. Il est basé sur l'architecture General Language Model (GLM) et comporte 6,2 milliards de paramètres. Associé à la technologie de quantification de modèle, les utilisateurs peuvent effectuer un niveau local (quantification INT4) sur des cartes graphiques grand public avec seulement 6 Go de mémoire vidéo). ChatGLM-6B utilise une technologie similaire à ChatGPT et est optimisé pour les questions-réponses et les conversations en chinois. Après une formation bilingue d'environ 1T d'identifiants en chinois et en anglais, et avec le soutien de technologies telles que la supervision, l'auto-rétroaction et l'apprentissage par renforcement de la rétroaction humaine, le ChatGLM-6B de 6,2 milliards de paramètres peut générer des réponses qui sont tout à fait conformes aux préférences humaines.

Déploiement rapide

1. Ouvrez une nouvelle page de terminal

2. Entrez la commande cd ChatGLM-6B  Passer au répertoire ChatGLM-6B

3. Entrez la commande python web_demo.py  Appuyez sur Entrée pour exécuter la démo Gradio. Ce processus peut prendre quelques secondes.

4. Une fois que http://0.0.0.0:8080 apparaît, ouvrez l'adresse API pour y accéder (l'authentification par nom réel est requise pour accéder à l'adresse API)

5. Ouvrez l'adresse API et vous pourrez utiliser ChatGLM-6B