vLLM+Open WebUI 部署 Seed-OSS-36B-Instruct

一、教程简介

Seed-OSS-36B-Instruct 是由字节跳动 Seed 团队于 2025 年 8 月发布的开源大语言模型。 Seed-OSS 使用了 12 万亿（12 T）tokens 进行训练，并在多个主流开源基准测试中取得了出色的表现。 Seed-OSS-36B 的架构结合了多种常见的设计选择，包括因果语言建模、分组查询注意力（Grouped Query Attention）、 SwiGLU 激活函数、 RMSNorm 和 RoPE 位置编码。其最具代表性的特性之一是原生长上下文能力，最大上下文长度可达 512 k tokens，能够在不损失性能的情况下处理超长文档和推理链。这一长度是 OpenAI 最新 GPT-5 模型系列的两倍，大约相当于 1600 页文本。

该教程算力资源采用双卡 RTX A6000 。

二、效果展示

三、运行步骤

1. 启动容器

2. 使用步骤

若不显示「Model」，这表示模型正在初始化，由于模型较大，请等待约 4-5 分钟后刷新页面。

四、交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

本项目引用信息如下：

@misc{seed2025seed-oss,
  author={ByteDance Seed Team},
  title={Seed-OSS Open-Source Models},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}