HyperAIHyperAI

Command Palette

Search for a command to run...

Déploiement vLLM + Open WebUI gemma-3-270m-it

Date

il y a 5 mois

Size

1.7 MB

Tags

License

Other

Paper URL

arxiv.org

1. Introduction au tutoriel

Gemma-3-270m-it est un modèle d'optimisation fine des instructions léger de la série Gemma 3, publié par Google le 12 mars 2025. Doté de 270 millions de paramètres, il privilégie une interaction dialogique efficace et un déploiement léger. Ce modèle performant ne nécessite qu'1 Go de VRAM sur un seul GPU, ce qui le rend idéal pour les appareils périphériques et les environnements à faibles ressources. Il prend en charge les dialogues à plusieurs tours, avec une optimisation spécifique pour les questions-réponses courantes et les instructions de tâches simples, en se concentrant sur la génération et la compréhension de texte (il ne prend pas en charge les entrées multimodales telles que les images). Il gère une fenêtre de contexte de 32 000 jetons, ce qui lui permet de traiter des dialogues textuels longs. Des articles de recherche associés sont disponibles. Rapport technique de Gemma 3 .

Ce tutoriel utilise des ressources pour une seule carte RTX 4090.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Après être entré sur la page Web, vous pouvez démarrer une conversation avec le modèle

Si « Modèle » n'est pas affiché, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 2 à 3 minutes avant d'actualiser la page.

Comment utiliser

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Déploiement vLLM + Open WebUI gemma-3-270m-it | Notebooks | HyperAI