Ollama와 Open WebUI를 사용하여 Llama3-70B 배포
튜토리얼 소개
이 튜토리얼은 Ollama + Open WebUI의 원클릭 실행 패키지입니다.아래 단계를 따라 명령을 입력하면 대형 모델인 Llama3 70B를 한 번의 클릭으로 실행할 수 있습니다.
아래의 "실행방법"에 따라 Ollama와 0open Webui를 각각 실행하신 후, 오른쪽의 "API 주소"를 이용하여 이용하실 수 있습니다.모델의 크기가 크기 때문에 Ollama가 모델을 천천히 로드하니 잠시만 기다려 주시기 바랍니다. Ollama는 처음으로 큰 모델에 프롬프트 단어를 입력할 때만 공식적으로 모델을 로드하기 시작합니다. 따라서 첫 번째 질문에 답하는 데 약 3분이 걸리고, 그 이후로는 모델의 답변이 점점 더 빨라질 것입니다.
Ollama와 Open WebUI 소개
모델의 크기가 계속 커짐에 따라, 이러한 대규모 모델을 효과적으로 배포하는 방법이 과제로 떠올랐습니다. Ollama와 Open WebUI는 각각 강력한 백엔드 모델 관리와 프런트엔드 인터페이스 상호작용 기능을 제공하는 매우 실용적인 도구입니다. 이 두 도구를 함께 사용하면 대규모 모델을 더 쉽게 배포하고 관리할 수 있습니다.
모델 소개
다음은 모델 대화의 예입니다.
이 모델은 8B와 70B의 두 가지 크기로 출시됩니다. 소비자용 GPU에서 효율적인 배포와 개발을 위해 8B, 대규모 AI 기반 애플리케이션을 위해 70B가 할당되었습니다.
Llama3는 개방형 생성 AI 모델인 Llama 제품군의 최신 모델이며, Llama 2 및 기타 공개적으로 사용 가능한 모델에 비해 상당한 개선이 이루어졌습니다.
- Llama 2보다 7배 더 큰 데이터 세트로 훈련됨
- 8K 긴 텍스트 지원
- 128,000개의 토큰으로 구성된 어휘를 통해 언어를 더 효율적으로 인코딩할 수 있습니다.
이 모델은 공공 장소에 배치되었으며 개인 보관 공간을 차지하지 않습니다.
실행 방법
새로운 터미널을 생성하고 Ollama를 시작하세요
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve
새로운 터미널을 생성하고 Open Webui를 시작합니다.
bash /openbayes/input/input1/open-webui/backend/start.sh
페이지 열기
- 오른쪽의 API 주소를 복사하여 브라우저에 붙여넣어 Open Webui 페이지를 엽니다.
- admin@example.com / adminadmin을 통해 로그인하세요.
