vLLM + Open WebUI 部署 gemma-3-270m-it

一、教程简介

gemma-3-270m-it 是由 Google 于 2025 年 3 月 12 日推出的 Gemma 3 系列轻量级指令微调模型，基于 270M（2.7 亿）参数构建，专注于高效对话交互与轻量化部署。该模型轻量高效，仅需单卡 1GB + 显存即可运行，适合边缘设备与低资源场景；支持多轮对话，针对日常问答、简单任务指令进行专项微调，专注文本生成与理解（不支持图像等多模态输入），且支持 32K tokens 上下文窗口，可处理长文本对话。相关论文成果为「Gemma 3 Technical Report」。

本教程采用资源为单卡 RTX 4090 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 进入网页后，即可与模型展开对话

若不显示「Model」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}