vLLM + Open WebUI 部署 Jan-v1-4B

一、教程简介

Jan-v1-4B 是由 Jan 团队(JanHQ)在 2025 年 8 月发布的 40 亿参数开源语言模型,定位于智能体式推理与工具调用,是 Jan 家族的首发版本并面向 Jan App 的实际工作流场景而优化。该模型以 Qwen3-4B-Thinking-2507 为基础继续微调与扩展,在 SimpleQA 基准上取得 91.1% 的准确率,显示出通过模型扩展与调优带来的明显性能提。官方文档亦指出其在该基准上可超过部分更大规模模型。

本教程采用资源为单卡 RTX 4090 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 进入网页后,即可与模型展开对话

若不显示「Model」,这表示模型正在初始化,由于模型较大,请等待约 2-3 分钟后刷新页面。

使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓