Déploiement vLLM+Open WebUI Devstral-Small-2505

1. Introduction au tutoriel

Devstral-Small-2505 est un modèle de langage étendu (LLM) basé sur des agents, conçu pour les tâches d'ingénierie logicielle. Il a été publié par Mistral AI et All Hands AI le 21 mai 2025. Devstral excelle dans l'utilisation d'outils permettant d'explorer des bases de code, de modifier plusieurs fichiers et de piloter des agents d'ingénierie logicielle. Ce modèle affiche d'excellentes performances sur SWE-bench, ce qui en fait le meilleur modèle open source du benchmark.

Ce tutoriel utilise les ressources du A6000 double SIM.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 2 à 3 minutes et actualiser la page.

2. Après être entré sur la page Web, vous pouvez démarrer une conversation avec le modèle

Comment utiliser

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓