HyperAIHyperAI

Command Palette

Search for a command to run...

Déploiement vLLM+Open WebUI Magistral-Small-2506

Date

il y a 8 mois

Taille

1.72 MB

Balises

Licence

Apache 2.0

1. Introduction au tutoriel

Magistral-Small-2506 est le premier modèle d'inférence publié par Mistral AI le 10 juin 2025. Basé sur Mistral Small 3.1 (2503), il ajoute des fonctionnalités d'inférence, effectue des SFT via le suivi Magistral Medium et applique l'apprentissage par renforcement. Ce modèle d'inférence compact et efficace, doté de 24 B paramètres, est capable d'effectuer un suivi d'inférence à longue chaîne avant de fournir des réponses, afin de mieux comprendre et traiter des problèmes complexes, améliorant ainsi la précision et la rationalité des réponses.

Ce tutoriel utilise des ressources RTX A6000 à double carte.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Après être entré sur la page Web, vous pouvez démarrer une conversation avec le modèle

Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 2 à 3 minutes avant d'actualiser la page.

Comment utiliser

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp