Ausführen des ChatGLM-6B-Modells in OpenBayes

ChatGLM-6B-Modell

 ChatGLM-6B ist ein Open-Source-Konversationssprachenmodell, das sowohl Chinesisch als auch Englisch unterstützt. Es basiert auf der General Language Model (GLM)-Architektur und verfügt über 6,2 Milliarden Parameter. In Kombination mit der Modellquantisierungstechnologie können Benutzer lokale (INT4-Quantisierung) auf Grafikkarten der Verbraucherklasse mit nur 6 GB Videospeicher durchführen. ChatGLM-6B verwendet eine ähnliche Technologie wie ChatGPT und ist für die Beantwortung chinesischer Fragen und Gespräche optimiert. Nach dem zweisprachigen Training mit etwa 1T Kennungen in Chinesisch und Englisch und mit Unterstützung von Technologien wie Supervision, Selbstfeedback und bestärkendem Lernen durch menschliches Feedback kann der 6,2 Milliarden Parameter umfassende ChatGLM-6B Antworten generieren, die weitgehend den menschlichen Vorlieben entsprechen.

Schnelle Bereitstellung

1. Öffnen Sie eine neue Terminalseite

2. Geben Sie den Befehl ein cd ChatGLM-6B  Wechseln Sie zum Verzeichnis ChatGLM-6B

3. Geben Sie den Befehl ein python web_demo.py  Drücken Sie die Eingabetaste, um die Gradio-Demo auszuführen. Dieser Vorgang kann einige Sekunden dauern.

4. Nachdem http://0.0.0.0:8080 angezeigt wird, öffnen Sie die API-Adresse, um darauf zuzugreifen (für den Zugriff auf die API-Adresse ist eine Echtnamenauthentifizierung erforderlich).

5. Öffnen Sie die API-Adresse und Sie können ChatGLM-6B verwenden