HyperAIHyperAI

Command Palette

Search for a command to run...

Déploiement vLLM+Open WebUI Seed-OSS-36B-Instruct

1. Introduction au tutoriel

Construire

Seed-OSS-36B-Instruct est un modèle de langage open source de grande taille, publié par l'équipe Seed de ByteDance en août 2025. Entraîné sur 12 000 milliards (12 T) de jetons, Seed-OSS a obtenu des performances exceptionnelles lors de plusieurs benchmarks open source courants. L'architecture Seed-OSS-36B combine plusieurs choix de conception courants, notamment la modélisation causale du langage, l'attention aux requêtes groupées, la fonction d'activation SwiGLU, RMSNorm et l'encodage positionnel RoPE. L'une de ses caractéristiques les plus emblématiques est sa capacité native à contexte long, avec une longueur de contexte maximale de 512 000 jetons, ce qui lui permet de gérer des documents et des chaînes de raisonnement extrêmement longs sans compromettre les performances. Cette longueur est deux fois supérieure à celle de la dernière série de modèles GPT-5 d'OpenAI, soit environ 1 600 pages de texte.

Les ressources informatiques utilisées dans ce tutoriel sont des RTX A6000 à double carte.

2. Affichage des effets

3. Étapes de l'opération

1. Démarrez le conteneur

2. Étapes d'utilisation

Si « Modèle » n'apparaît pas, cela signifie que le modèle est en cours d'initialisation. Le modèle étant volumineux, veuillez patienter 4 à 5 minutes avant d'actualiser la page.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@misc{seed2025seed-oss,
  author={ByteDance Seed Team},
  title={Seed-OSS Open-Source Models},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Déploiement vLLM+Open WebUI Seed-OSS-36B-Instruct | Tutoriels | HyperAI