使用 vLLM 与 Open-WebUI 部署 GLM-4-32B

一、教程简介

GLM4 项目是由 THUDM 机构于 2025 年发布，相关技术报告为 「ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools」。

GLM 家族迎来新成员 GLM-4-32B-0414 系列模型，该模型拥有 320 亿个参数，性能媲美 OpenAI 的 GPT 系列和 DeepSeek 的 V3/R1 系列，并支持非常友好的本地部署功能。 GLM-4-32B-Base-0414 已在 15T 高质量数据上进行预训练，其中包含大量推理类合成数据，为后续的强化学习扩展奠定了基础。在训练后阶段，研究团队针对对话场景引入了人机偏好对齐。此外，研究团队利用拒绝采样和强化学习等技术，提升了模型在指令遵循、代码工程和函数调用方面的表现，从而增强了代理任务所需的原子能力。 GLM-4-32B-0414 在代码工程、工件生成、函数调用、基于搜索的问答和报告生成方面均取得了良好的效果。特别是在代码生成或特定问答任务等几个基准测试中，GLM-4-32B-Base-0414 实现了与 GPT-4o 和 DeepSeek-V3-0324(671B) 等较大模型相当的性能。

本教程采用资源为双卡 A6000 。

👉 该项目提供了一种型号的模型：

• GLM-4-32B-0414 模型

项目示例

动画绘制

GLM-Z1-32B-0414	GLM-4-32B-0414
write a Python program that shows a ball bouncing inside a spinning hexagon. The ball should be affected by gravity and friction, and it must bounce off the rotating walls realistically	用 HTML 模拟一个小球在从一个旋转中的六边形中心释放后的场景。考虑小球和六边形边框的碰撞和小球受到的重力，并假设碰撞都是完全弹性碰撞

网页设计

GLM-4-32B-0414	GLM-4-32B-0414
设计一个支持自定义函数绘制的绘图板，可以添加和删除自定义函数，并为函数指定颜色	设计一个移动端机器学习平台的 UI，其中要包括训练任务，存储管理，和个人统计信息界面。个人信息统计界面要用图表展示用户过去一段时间的各类资源使用情况。使用 Tailwind CSS 来美化页面，把这 3 个手机界面平铺展示到一个 HTML 页面中

SVG 生成

GLM-4-32B-0414	GLM-4-32B-0414
用 SVG 创作一幅烟雨江南	用 SVG 展示一个 LLM 的训练流程

分析调研撰写

中国城市 AI 发展分析：北京与杭州的对比研究。同时调研国外城市用 AI 进行城市治理的案例。

二、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

若不显示「模型」，这表示模型正在初始化，由于模型较大，请等待约 1-2 分钟后刷新页面。

2. 进入网页后，即可与模型展开对话

使用步骤

交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

感谢 ZV-Liu  对本教程的部署，本项目引用信息如下：

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools},
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}