Command Palette
Search for a command to run...
Déploiement vLLM + Open WebUI gemma-3-270m-it
1. Introduction au tutoriel
Gemma-3-270m-it est un modèle d'optimisation fine des instructions léger de la série Gemma 3, publié par Google le 12 mars 2025. Doté de 270 millions de paramètres, il privilégie une interaction dialogique efficace et un déploiement léger. Ce modèle performant ne nécessite qu'1 Go de VRAM sur un seul GPU, ce qui le rend idéal pour les appareils périphériques et les environnements à faibles ressources. Il prend en charge les dialogues à plusieurs tours, avec une optimisation spécifique pour les questions-réponses courantes et les instructions de tâches simples, en se concentrant sur la génération et la compréhension de texte (il ne prend pas en charge les entrées multimodales telles que les images). Il gère une fenêtre de contexte de 32 000 jetons, ce qui lui permet de traiter des dialogues textuels longs. Des articles de recherche associés sont disponibles. Rapport technique de Gemma 3 .
Ce tutoriel utilise des ressources pour une seule carte RTX 4090.
2. Exemples de projets

3. Étapes de l'opération
1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Après être entré sur la page Web, vous pouvez démarrer une conversation avec le modèle
Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 2 à 3 minutes avant d'actualiser la page.
Comment utiliser

4. Discussion
🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation
Les informations de citation pour ce projet sont les suivantes :
@article{gemma_2025,
title={Gemma 3},
url={https://arxiv.org/abs/2503.19786},
publisher={Google DeepMind},
author={Gemma Team},
year={2025}
}Build AI with AI
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.