Ollama 및 Open WebUI를 사용하여 대규모 모델 배포

튜토리얼 소개

이 튜토리얼은 Ollama + Open WebUI의 원클릭 실행 패키지입니다. 한 번의 클릭으로 대형 모델을 실행하는 명령을 입력하려면 아래 단계만 따르면 됩니다.

현재 포함된 모델은 다음과 같습니다.

1. 퀀 1.5 14b
2. 퀀 1.5 32b
3. llava 1.6 34b 이 모델은 멀티모달 모델입니다.

위의 세 가지 모델은 공공장소에 배치되므로 개인 보관 공간을 차지하지 않습니다.

아래 내용에 따라 각각 ollama와 open webui를 실행하신 후, 오른쪽의 "API 주소"를 이용하여 이용하실 수 있습니다.

비디오 튜토리얼 참조:설치가 필요 없고, 한 번의 클릭으로 대형 모델을 복제하고 실행하기만 하면 됩니다. Ollama를 실행하고 Cloud GPU에서 WebUI를 엽니다.

올라마 시작하기

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

웹 UI 열기 시작

bash /openbayes/input/input1/open-webui/backend/start.sh

페이지 열기

1. 오른쪽의 API 주소를 복사하여 브라우저에 붙여넣으면 열린 WebUI 페이지가 열립니다.

2. admin@example / adminadmin을 통해 로그인하세요

새로운 모델 추가

명령줄에 명령을 전달하세요 ./ollama pull  새로운 모델을 다운로드할 수 있습니다. 새로운 모델은 자체 공간을 차지합니다.