vLLM+Open WebUI Deployment Seed-OSS-36B-Instruct

1. Einführung in das Tutorial

Seed-OSS-36B-Instruct ist ein Open-Source-Modell für große Sprachen, das im August 2025 vom ByteDance Seed-Team veröffentlicht wurde. Seed-OSS wurde mit 12 Billionen (12 T) Token trainiert und erzielte bei mehreren gängigen Open-Source-Benchmarks hervorragende Leistungen. Die Seed-OSS-36B-Architektur kombiniert mehrere gängige Designentscheidungen, darunter kausale Sprachmodellierung, gruppierte Abfrageaufmerksamkeit, die SwiGLU-Aktivierungsfunktion, RMSNorm und RoPE-Positionskodierung. Eines seiner repräsentativsten Merkmale ist die native Langkontextfähigkeit mit einer maximalen Kontextlänge von 512.000 Token. Dadurch kann es extrem lange Dokumente und Argumentationsketten ohne Leistungseinbußen verarbeiten. Diese Länge ist doppelt so lang wie die der neuesten GPT-5-Modellreihe von OpenAI und entspricht etwa 1.600 Textseiten.

Die in diesem Tutorial verwendeten Rechenressourcen sind Dual-Card RTX A6000.

2. Effektanzeige

3. Bedienungsschritte

1. Starten Sie den Container

2. Anwendungsschritte

Wenn „Modell“ nicht angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 4–5 Minuten und aktualisieren Sie die Seite.

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@misc{seed2025seed-oss,
  author={ByteDance Seed Team},
  title={Seed-OSS Open-Source Models},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}