vLLM+Open WebUIデプロイメントシード-OSS-36B-Instruct

1. チュートリアルの概要

建てる

Seed-OSS-36B-Instructは、ByteDance Seedチームによって2025年8月にリリースされたオープンソースの大規模言語モデルです。Seed-OSSは12兆(12T)トークンで学習され、複数の主要なオープンソースベンチマークで優れたパフォーマンスを達成しました。Seed-OSS-36Bアーキテクチャは、因果言語モデリング、グループ化されたクエリアテンション、SwiGLU活性化関数、RMSNorm、RoPE位置エンコーディングなど、いくつかの一般的な設計選択を組み合わせています。その最も代表的な機能の一つは、最大コンテキスト長が512kトークンであるネイティブのロングコンテキスト機能であり、パフォーマンスを犠牲にすることなく、非常に長いドキュメントと推論チェーンを処理できます。この長さは、OpenAIの最新のGPT-5モデルシリーズの2倍であり、約1,600ページのテキストに相当します。

このチュートリアルで使用されるコンピューティング リソースは、デュアル カード RTX A6000 です。

2. エフェクト表示

3. 操作手順

1. コンテナを起動します

2. 使用手順

「モデル」が表示されない場合は、モデルが初期化中です。モデルのサイズが大きいため、4~5分ほどお待ちいただき、ページを更新してください。

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

このプロジェクトの引用情報は次のとおりです。

@misc{seed2025seed-oss,
  author={ByteDance Seed Team},
  title={Seed-OSS Open-Source Models},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}

vLLM+Open WebUIデプロイメントシード-OSS-36B-Instruct | チュートリアル | HyperAI超神経