Mistral-7B-v0.3 데모를 온라인으로 실행하세요
Ollama 및 Open WebUI를 사용하여 Mixtral:7B-v0.3 모델 배포
튜토리얼 소개
이 튜토리얼은 Ollama + Open WebUI의 원클릭 실행 패키지입니다.아래 단계를 따르고 명령을 입력하면 대형 모델 Mixtral:7b v0.3을 한 번의 클릭으로 실행할 수 있습니다.
Mistral:7B-v0.2와 비교했을 때 Mixtral:7B-v0.3은 다음과 같은 장점이 있습니다.
- 어휘 크기가 32000에서 32768로 확장되었습니다.
- v3 토크나이저 지원
- 함수 호출 지원
이 모델은 공공 장소에 배치되었으며 개인 보관 공간을 차지하지 않습니다.
아래 내용에 따라 Ollama와 0open Webui를 각각 실행하신 후, 오른쪽의 "API 주소"를 이용하여 이용하실 수 있습니다.
실행 방법
1. 올라마 다운로드
curl -fsSL https://ollama.com/install.sh | sh
2. Ollama 시작하기
OLLAMA_MODELS=/openbayes/input/input0 ollama serve
3. 새 터미널을 만들고 Open Webui를 시작합니다.
cd open-webui
OLLAMA_MODELS=/openbayes/input/input0 bash backend/start.sh
4. 페이지를 엽니다
- 오른쪽의 API 주소를 복사하여 브라우저에 붙여넣어 Open Webui 페이지를 엽니다.
- admin@example.com / adminadmin을 사용하여 로그인하세요.
- 모델을 선택한 후 사용할 수 있습니다
