Ollama와 Open WebUI를 사용하여 Llama3-8B-Instruct 배포

튜토리얼 소개

이 튜토리얼은 Ollama + Open WebUI의 원클릭 실행 패키지입니다.아래 단계를 따르고 명령을 입력하면 대형 모델인 Llama3 8B-Instruct가 한 번의 클릭으로 실행됩니다.

Llama 3 8B-Instruct 오픈 소스 생성 AI 모델인 Llama 시리즈의 최신 모델인 Llama 3는 Llama 2 및 기타 공개적으로 사용 가능한 모델에 비해 상당한 개선이 이루어졌습니다.

• Llama 2보다 7배 더 큰 데이터 세트로 훈련됨
• 8K 긴 텍스트 지원
• 128,000개의 토큰으로 구성된 어휘를 통해 언어를 더 효율적으로 인코딩할 수 있습니다.

이 모델은 공공 장소에 배치되었으며 개인 보관 공간을 차지하지 않습니다.

아래 내용에 따라 Ollama와 Open WebUI를 각각 실행하신 후, 오른쪽의 "API 주소"를 이용하여 이용하실 수 있습니다.

실행 방법

새로운 터미널을 생성하고 Ollama를 시작하세요

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

새로운 터미널을 생성하고 Open Webui를 시작합니다.

bash /openbayes/input/input1/open-webui/backend/start.sh

페이지 열기

1. 오른쪽의 API 주소를 복사하여 브라우저에 붙여넣으면 Open WebUI 페이지가 열립니다.

2. admin@example.com / adminadmin을 통해 로그인하세요.