vLLM+Open WebUI 部署 Magistral-Small-2506

一、教程简介

Magistral-Small-2506 是由 Mistral AI 于 2025 年 6 月 10 日发布的首个推理模型。基于 Mistral Small 3.1（2503）构建，增加了推理能力，通过 Magistral Medium 跟踪进行 SFT 并在顶部进行强化学习，它是一个参数量为 24 B 的小型高效推理模型，能够在提供答案之前进行长链推理追踪，以更深入地理解和处理复杂问题，从而提高回答的准确性和合理性。

本教程采用资源为双卡 RTX A6000 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

2. 进入网页后，即可与模型展开对话

若不显示「Model」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓