HyperAIHyperAI

Déploiement vLLM+Open WebUI Seed-OSS-36B-Instruct

1. Introduction au tutoriel

Construire

Seed-OSS-36B-Instruct est un modèle de langage open source de grande taille, publié par l'équipe Seed de ByteDance en août 2025. Entraîné sur 12 000 milliards (12 T) de jetons, Seed-OSS a obtenu des performances exceptionnelles lors de plusieurs benchmarks open source courants. L'architecture Seed-OSS-36B combine plusieurs choix de conception courants, notamment la modélisation causale du langage, l'attention aux requêtes groupées, la fonction d'activation SwiGLU, RMSNorm et l'encodage positionnel RoPE. L'une de ses caractéristiques les plus emblématiques est sa capacité native à contexte long, avec une longueur de contexte maximale de 512 000 jetons, ce qui lui permet de gérer des documents et des chaînes de raisonnement extrêmement longs sans compromettre les performances. Cette longueur est deux fois supérieure à celle de la dernière série de modèles GPT-5 d'OpenAI, soit environ 1 600 pages de texte.

Les ressources informatiques utilisées dans ce tutoriel sont des RTX A6000 à double carte.

2. Affichage des effets

3. Étapes de l'opération

1. Démarrez le conteneur

2. Étapes d'utilisation

Si « Modèle » n'apparaît pas, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 4 à 5 minutes avant d'actualiser la page.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@misc{seed2025seed-oss,
  author={ByteDance Seed Team},
  title={Seed-OSS Open-Source Models},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}

Déploiement vLLM+Open WebUI Seed-OSS-36B-Instruct | Tutoriels | HyperAI