vLLM+Open WebUI 배포 Seed-OSS-36B-Instruct

1. 튜토리얼 소개

짓다

Seed-OSS-36B-Instruct는 ByteDance Seed 팀이 2025년 8월에 발표한 오픈소스 대규모 언어 모델입니다. Seed-OSS는 12조(12T) 토큰으로 학습되었으며, 여러 주류 오픈소스 벤치마크에서 탁월한 성능을 달성했습니다. Seed-OSS-36B 아키텍처는 인과 언어 모델링, 그룹화된 쿼리 어텐션, SwiGLU 활성화 함수, RMSNorm, RoPE 위치 인코딩을 포함한 여러 가지 일반적인 설계 방식을 결합합니다. 가장 대표적인 특징 중 하나는 최대 512,000 토큰의 컨텍스트 길이를 지원하는 고유의 긴 컨텍스트 기능입니다. 이를 통해 성능 저하 없이 매우 긴 문서와 추론 체인을 처리할 수 있습니다. 이 길이는 OpenAI의 최신 GPT-5 모델 시리즈의 두 배로, 약 1,600페이지 분량의 텍스트에 해당합니다.

이 튜토리얼에서 사용된 컴퓨팅 리소스는 듀얼 카드 RTX A6000입니다.

2. 효과 표시

3. 작업 단계

1. 컨테이너를 시작하세요

2. 사용 단계

"모델"이 표시되지 않으면 모델이 초기화 중임을 의미합니다. 모델이 용량이 크므로 4~5분 정도 기다린 후 페이지를 새로고침해 주세요.

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@misc{seed2025seed-oss,
  author={ByteDance Seed Team},
  title={Seed-OSS Open-Source Models},
  year={2025},
  howpublished={\url{https://github.com/ByteDance-Seed/seed-oss}}
}