Command Palette

Search for a command to run...

llama.cpp+Open-Webui 部署 gpt-oss-120b

一、教程简介

GitHub Stars

gpt-oss-120b 是由 OpenAI 于 2025 年 8 月推出的开源推理模型,面向强推理、智能体任务以及多样化开发场景。该模型基于 MoE 架构,支持 128 k 上下文长度,性能接近闭源的 o4-mini 和 o3-mini,在工具调用、少样本函数调用、链式思考推理及健康问答等方面表现出色。

本教程采用资源为双卡 RTX A6000 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 进入网页后,即可与模型展开对话

若不显示「Model」,这表示模型正在初始化,由于模型较大,请等待约 2-3 分钟后刷新页面。

使用步骤

注意:本教程可以修改模型的推理水平,只要在提示词前加入「Reasoning:low/medium/high」即可。

四、交流探讨

🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供