通义千问 72B Chat Int4 模型 Gradio Demo
Qwen-72B-Chat-Int4 demo
模型简介
通义千问-72B (Qwen-72B) 是阿里云研发的通义千问大模型系列的 720 亿参数规模的模型。 Qwen-72B 是基于 Transformer 的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在 Qwen-72B 的基础上，研究团队使用对齐机制打造了基于大语言模型的 AI 助手 Qwen-72B-Chat 。本仓库为 Qwen-72B-Chat 的 Int4 量化模型的仓库。 
一键部署
该教程为在 OpenBayes 运行 通义千问 72B Chat 的 Int4 量化模型。
运行方法
- 克隆容器启动后，打开一个新的终端页面
- 输入命令 python web_ui.py 运行 Gradio demo
- 按照提示打开链接
- 即可开始与模型对话