Déployer Gemma-3-27B-IT À L'aide De vLLM
1. Introduction au tutoriel
Gemma-3-27B-IT est le grand modèle Gemma de troisième génération open source par Google en 2025, une version optimisée pour les instructions avec 27 milliards de paramètres.
La série Gemma est une série de grands modèles open source par Google, construits sur la même recherche et la même technologie que le modèle Gemini. Gemma 3 est un grand modèle multimodal capable de traiter des entrées de texte et d'image et de générer des sorties de texte, avec des poids ouverts disponibles dans des variantes pré-entraînées et adaptées aux instructions. Le modèle dispose d'une fenêtre contextuelle de 128 Ko, prend en charge plus de 140 langues et offre plus de tailles de modèle que les versions précédentes. Les modèles Gemma 3 conviennent à une variété de tâches de génération de texte et de compréhension d'images, notamment la réponse aux questions, le résumé et le raisonnement. Leur taille relativement petite leur permet d’être déployés dans des environnements aux ressources limitées, tels que les ordinateurs portables, les ordinateurs de bureau ou les infrastructures cloud.
Ce tutoriel utilise gemma-3-27b-it comme démonstration, et la ressource informatique utilise une seule carte A6000.
2. Étapes de l'opération
1. Après avoir démarré le conteneur, cliquez sur l’adresse API pour accéder à l’interface Web. En raison du grand modèle, il faut environ 3 minutes pour afficher l'interface WebUI, sinon « Bad Gateway » s'affichera.

2. Après avoir accédé à la page Web, vous pouvez effectuer une inférence de modèle
- Conversation textuelle : saisissez directement du texte et discutez par texte sans télécharger de photos
- Compréhension d'image : saisissez du texte et des images pour générer la compréhension du modèle correspondant

* Exécutez l'exemple

Échange et discussion
🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓
