HyperAIHyperAI

Command Palette

Search for a command to run...

Déploiement vLLM+Open WebUI Magistral-Small-2506

Date

il y a 7 mois

Size

1.72 MB

Tags

License

Apache 2.0

1. Introduction au tutoriel

Magistral-Small-2506 est le premier modèle d'inférence publié par Mistral AI le 10 juin 2025. Basé sur Mistral Small 3.1 (2503), il ajoute des fonctionnalités d'inférence, effectue des SFT via le suivi Magistral Medium et applique l'apprentissage par renforcement. Ce modèle d'inférence compact et efficace, doté de 24 B paramètres, est capable d'effectuer un suivi d'inférence à longue chaîne avant de fournir des réponses, afin de mieux comprendre et traiter des problèmes complexes, améliorant ainsi la précision et la rationalité des réponses.

Ce tutoriel utilise des ressources RTX A6000 à double carte.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Après être entré sur la page Web, vous pouvez démarrer une conversation avec le modèle

Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 2 à 3 minutes avant d'actualiser la page.

Comment utiliser

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp