vLLM + Offene WebUI-Bereitstellung gemma-3-270m-it

1. Einführung in das Tutorial

gemma-3-270m-it ist ein leichtes Feinabstimmungsmodell der Gemma 3-Reihe, das am 12. März 2025 von Google eingeführt wurde. Es basiert auf 270M (270 Millionen) Parametern und konzentriert sich auf effiziente Konversationsinteraktion und leichte Bereitstellung. Das Modell ist leichtgewichtig und effizient und benötigt lediglich 1 GB + Videospeicher auf einer einzelnen Karte, wodurch es sich für Edge-Geräte und Szenarien mit geringen Ressourcen eignet. Es unterstützt mehrstufige Konversationen und ist speziell auf alltägliche Fragen und Antworten sowie einfache Aufgabenanweisungen abgestimmt. Der Schwerpunkt liegt auf der Textgenerierung und dem Verständnis (multimodale Eingaben wie Bilder werden nicht unterstützt) und unterstützt Kontextfenster mit 32.000 Token, die lange Textkonversationen verarbeiten können. Die zugehörigen Ergebnisse des Papiers lauten:Technischer Bericht zu Gemma 3".

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Wenn „Modell“ nicht angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2-3 Minuten und aktualisieren Sie die Seite.

Anwendung

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}