vLLM+Open WebUI 部署 Devstral-Small-2505

一、教程简介

Devstral-Small-2505 是由 Mistral AI 和 All Hands AI 于 2025 年 5 月 21 日发布的一款专为软件工程任务设计的代理型大语言模型（LLM）。 Devstral 擅长使用工具探索代码库、编辑多个文件以及驱动软件工程代理。该模型在 SWE-bench 上表现出色，使其成为该基准测试中排名第一的开源模型。

本教程采用资源为双卡 A6000 。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

若不显示「模型」，这表示模型正在初始化，由于模型较大，请等待约 2-3 分钟后刷新页面。

2. 进入网页后，即可与模型展开对话

使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓