Déploiement vLLM+Open WebUI Magistral-Small-2506

1. Introduction au tutoriel

Magistral-Small-2506 est le premier modèle d'inférence publié par Mistral AI le 10 juin 2025. Basé sur Mistral Small 3.1 (2503), il ajoute des fonctionnalités d'inférence, effectue des SFT via le suivi Magistral Medium et applique l'apprentissage par renforcement. Ce modèle d'inférence compact et efficace, doté de 24 B paramètres, est capable d'effectuer un suivi d'inférence à longue chaîne avant de fournir des réponses, afin de mieux comprendre et traiter des problèmes complexes, améliorant ainsi la précision et la rationalité des réponses.

Ce tutoriel utilise des ressources RTX A6000 à double carte.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Après être entré sur la page Web, vous pouvez démarrer une conversation avec le modèle

Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 2 à 3 minutes avant d'actualiser la page.

Comment utiliser

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓