vLLM+Open WebUI 배포 Devstral-Small-2505

1. 튜토리얼 소개

Devstral-Small-2505는 Mistral AI와 All Hands AI가 2025년 5월 21일에 출시한 소프트웨어 엔지니어링 작업을 위해 설계된 에이전트 기반 대규모 언어 모델(LLM)입니다. Devstral은 코드 베이스 탐색, 여러 파일 편집, 소프트웨어 엔지니어링 에이전트 구동 등의 도구를 활용하는 데 탁월합니다. 이 모델은 SWE-bench 벤치마크에서 우수한 성능을 보이며, 벤치마크에서 최고의 오픈소스 모델로 자리매김했습니다.

이 튜토리얼에서는 듀얼 SIM A6000의 리소스를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

"모델"이 표시되지 않으면 모델이 초기화되고 있음을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.

2. 웹페이지에 접속 후 모델과 대화를 시작할 수 있습니다.

사용 방법

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓