Tongyi Qianwen 72B Chat Int4 Model Gradio Demo
Qwen-72B-Chat-Int4-Demo
Modelleinführung
Tongyi Qianwen-72B (Qwen-72B) ist ein 72 Milliarden Parameter umfassendes Modell der von Alibaba Cloud entwickelten Tongyi Qianwen-Großmodellreihe. Qwen-72B ist ein großes, auf Transformer basierendes Sprachmodell, das mit Vortrainingsdaten in sehr großem Maßstab trainiert wurde. Die vorab trainierten Datentypen sind vielfältig und decken ein breites Spektrum ab, darunter eine große Menge an Online-Texten, Fachbüchern, Codes usw. Gleichzeitig nutzte das Forschungsteam auf der Grundlage von Qwen-72B den Ausrichtungsmechanismus, um Qwen-72B-Chat zu erstellen, einen KI-Assistenten, der auf einem großen Sprachmodell basiert. Dieses Repository ist für das quantitative Int4-Modell von Qwen-72B-Chat. 
Bereitstellung mit einem Klick
In diesem Tutorial geht es um das Ausführen des Int4-quantisierten Modells von Tongyi Qianwen 72B Chat auf OpenBayes.
Wie man läuft
- Nachdem der geklonte Container gestartet ist, öffnen Sie eine neue Terminalseite
- Geben Sie den Befehl python web_ui.py ein, um die Gradio-Demo auszuführen
- Folgen Sie den Anweisungen, um den Link zu öffnen
- Sie können mit dem Modell sprechen