在 OpenBayes 运行 ChatGLM-6B 模型

ChatGLM-6B 模型

 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于通用语言模型 (GLM) 架构，拥有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地（INT4 量化）等级下最低只需 6 GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督、自助反馈、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能够生成相当符合人类偏好的答案

快速部署

1. 打开一个新的终端页面

2. 输入命令 cd ChatGLM-6B  切换到目录 ChatGLM-6B

3. 输入命令 python web_demo.py  回车以运行 Gradio demo，这个过程需要等待几秒

4. 出现 http://0.0.0.0:8080 后打开 API 地址进行访问（访问 API 地址需要实名认证）

5. 打开 API 地址后即可使用 ChatGLM-6B