vLLM + Open WebUI-Bereitstellung Jan. v1-4B
1. Einführung in das Tutorial
Jan-v1-4B ist ein Open-Source-Sprachmodell mit 4 Milliarden Parametern, das vom Jan-Team (JanHQ) im August 2025 veröffentlicht wurde. Es ist die erste Version der Jan-Familie und zielt auf intelligentes körperbasiertes Denken und Tool-Aufrufe ab. Es ist für reale Workflow-Szenarien in Jan-Apps optimiert. Basierend auf Qwen3-4B-Thinking-2507 wurde dieses Modell optimiert und erweitert. Es erreichte eine Genauigkeit von 91,11 TP3T im SimpleQA-Benchmark und zeigt damit deutliche Leistungsverbesserungen durch Modellerweiterung und -optimierung. Offizielle Dokumentationen weisen zudem darauf hin, dass es in diesem Benchmark einige größere Modelle übertreffen kann.
Dieses Tutorial verwendet Ressourcen für eine einzelne RTX 4090-Karte.
2. Projektbeispiele

3. Bedienungsschritte
1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Nachdem Sie die Webseite aufgerufen haben, können Sie ein Gespräch mit dem Modell beginnen
Wenn „Modell“ nicht angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2-3 Minuten und aktualisieren Sie die Seite.
Anwendung

4. Diskussion
🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓
