vLLM+Open WebUI 배포 Magistral-Small-2506

1. 튜토리얼 소개

Magistral-Small-2506은 Mistral AI가 2025년 6월 10일에 출시한 최초의 추론 모델입니다. Mistral Small 3.1(2503)을 기반으로 구축된 이 모델은 추론 기능을 추가하고, Magistral Medium 추적을 통해 SFT(Single-Functional Transform)를 수행하며, 이를 기반으로 강화 학습을 수행합니다. 24B 매개변수를 가진 작고 효율적인 추론 모델로, 복잡한 문제를 더 잘 이해하고 처리하기 위해 답변을 제공하기 전에 긴 체인 추론 추적을 수행하여 답변의 정확성과 합리성을 향상시킬 수 있습니다.

이 튜토리얼에서는 듀얼 카드 RTX A6000 리소스를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 웹페이지에 접속 후 모델과 대화를 시작할 수 있습니다.

"모델"이 표시되지 않으면 모델이 초기화 중임을 의미합니다. 모델이 용량이 크므로 2~3분 정도 기다린 후 페이지를 새로고침해 주세요.

사용 방법

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓