HyperAIHyperAI

Command Palette

Search for a command to run...

vLLM + Offene WebUI-Bereitstellung gemma-3-270m-it

Date

vor 5 Monaten

Size

1.7 MB

Tags

License

Other

Paper URL

arxiv.org

1. Einführung in das Tutorial

gemma-3-270m-it ist ein ressourcenschonendes Modell zur Feinabstimmung von Anweisungen aus der Gemma-3-Serie, das von Google am 12. März 2025 veröffentlicht wurde. Es basiert auf 270 Millionen Parametern und konzentriert sich auf effiziente Dialoginteraktion und ressourcenschonende Bereitstellung. Dieses schlanke und effiziente Modell benötigt lediglich 1 GB VRAM auf einer einzelnen GPU und eignet sich daher für Edge-Geräte und ressourcenarme Umgebungen. Es unterstützt mehrstufige Dialoge mit spezifischer Feinabstimmung für alltägliche Frage-Antwort-Situationen und einfache Aufgabenanweisungen. Der Fokus liegt auf der Textgenerierung und -verarbeitung (multimodale Eingaben wie Bilder werden nicht unterstützt). Dank eines Kontextfensters von 32.000 Tokens kann es auch lange Textdialoge verarbeiten. Zugehörige Forschungsarbeiten sind verfügbar. Technischer Bericht zu Gemma 3 .

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen

Wenn „Modell“ nicht angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2-3 Minuten und aktualisieren Sie die Seite.

Anwendung

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp