vLLM + 개방형 WebUI 배포 Jan-v1-4B

1. 튜토리얼 소개

Jan-v1-4B는 Jan 팀(JanHQ)이 2025년 8월에 출시한 40억 개의 매개변수를 가진 오픈소스 언어 모델입니다. 지능형 바디 기반 추론 및 도구 호출을 목표로 하는 Jan 제품군의 첫 번째 릴리스이며, Jan 앱의 실제 워크플로 시나리오에 최적화되어 있습니다. Qwen3-4B-Thinking-2507을 기반으로 하는 이 모델은 미세 조정 및 확장을 거쳐 SimpleQA 벤치마크에서 91.11 TP3T의 정확도를 달성했습니다. 이는 모델 확장 및 튜닝을 통해 상당한 성능 향상을 달성했음을 보여줍니다. 공식 문서에 따르면 이 벤치마크에서 일부 대형 모델보다 우수한 성능을 보일 수 있습니다.

이 튜토리얼에서는 단일 RTX 4090 카드에 대한 리소스를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 웹페이지에 접속 후 모델과 대화를 시작할 수 있습니다.

"모델"이 표시되지 않으면 모델이 초기화 중임을 의미합니다. 모델이 용량이 크므로 2~3분 정도 기다린 후 페이지를 새로고침해 주세요.

사용 방법

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓