llama.cpp+Open-Webui 部署 gpt-oss-120b

一、教程简介

gpt-oss-120b 是由 OpenAI 于 2025 年 8 月推出的开源推理模型，面向强推理、智能体任务以及多样化开发场景。该模型基于 MoE 架构，支持 128 k 上下文长度，性能接近闭源的 o4-mini 和 o3-mini，在工具调用、少样本函数调用、链式思考推理及健康问答等方面表现出色。

本教程采用资源为双卡 RTX A6000 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 进入网页后，即可与模型展开对话

若不显示「Model」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

使用步骤

注意：本教程可以修改模型的推理水平，只要在提示词前加入「Reasoning：low/medium/high」即可。

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓