Command Palette

Search for a command to run...

vLLM + Open WebUI 部署 gemma-3-270m-it

一、教程简介

gemma-3-270m-it 是由 Google 于 2025 年 3 月 12 日推出的 Gemma 3 系列轻量级指令微调模型,基于 270M(2.7 亿)参数构建,专注于高效对话交互与轻量化部署。该模型轻量高效,仅需单卡 1GB + 显存即可运行,适合边缘设备与低资源场景;支持多轮对话,针对日常问答、简单任务指令进行专项微调,专注文本生成与理解(不支持图像等多模态输入),且支持 32K tokens 上下文窗口,可处理长文本对话。相关论文成果为「Gemma 3 Technical Report」。

本教程采用资源为单卡 RTX 4090 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 进入网页后,即可与模型展开对话

若不显示「Model」,这表示模型正在初始化,由于模型较大,请等待约 2-3 分钟后刷新页面。

使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下:

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供