Tongyi Qianwen 72B Chat Int4 Modèle Gradio Démo
Démo Qwen-72B-Chat-Int4
Présentation du modèle
Tongyi Qianwen-72B (Qwen-72B) est un modèle à l'échelle de 72 milliards de paramètres de la série de grands modèles Tongyi Qianwen développé par Alibaba Cloud. Qwen-72B est un grand modèle de langage basé sur Transformer, formé sur des données de pré-formation à très grande échelle. Les types de données de pré-formation sont divers et couvrent un large éventail, y compris une grande quantité de textes en ligne, de livres professionnels, de codes, etc. Dans le même temps, sur la base de Qwen-72B, l'équipe de recherche a utilisé le mécanisme d'alignement pour créer Qwen-72B-Chat, un assistant IA basé sur un grand modèle de langage. Ce référentiel est destiné au modèle quantitatif Int4 de Qwen-72B-Chat. 
Déploiement en un clic
Ce tutoriel concerne l'exécution du modèle quantifié Int4 de Tongyi Qianwen 72B Chat sur OpenBayes.
Comment courir
- Une fois le conteneur cloné démarré, ouvrez une nouvelle page de terminal
- Entrez la commande python web_ui.py pour exécuter la démo Gradio
- Suivez les instructions pour ouvrir le lien
- Vous pouvez commencer à parler au modèle