Command Palette
Search for a command to run...
使用 vLLM 部署 QwQ-32B
一、教程简介
QwQ 是 Qwen 系列的推理模型，相比传统指令调优模型，QwQ 具备思考和推理能力，在下游任务尤其是难题上能取得显著性能提升。 QwQ-32B 是中型推理模型，能够与 DeepSeek-R1 、 o1-mini 等最先进的推理模型取得竞争性性能。
本教程使用 QwQ-32B 作为演示，算力资源采用 A6000*2 。
二、运行步骤
1. 启动容器后点击 API 地址即可进入 Web 界面（若不显示「模型」，这表示模型正在初始化，由于模型较大，请等待约 1-2 分钟后刷新页面。）
2. 进入网页后，即可与模型展开对话
本教程支持「联网搜索」，该功能开启后，推理速度会变慢，属于正常现象。
交流探讨
🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓ 