온라인 튜토리얼 | 라마3 배포 임계값 없음, 70B 버전은 1.07G 저장 공간만 차지, 신규 사용자는 8B 버전을 무료로 체험할 수 있음

4월 18일, Meta는 Llama 3의 오픈 소스를 발표했습니다. 출시되자마자, 이른바 "지금까지 최고의 오픈 소스 대형 모델"이라는 이 모델은 기술계에 즉각적으로 큰 반향을 일으켰습니다!

출시일은 스탠포드 대학의 교수이자 유명 AI 전문가인 앤드류 응의 생일과 겹쳤습니다. 오픈소스 AI의 옹호자로서 그는 다음과 같이 흥분해서 게시했습니다.이건 제가 받은 최고의 생일선물이에요, 메타님 감사합니다.

메타의 수석 과학자이자 튜링상 수상자인 얀 르쿤(Yann LeCun)도 자신의 계정에서 최신 오픈소스 모델을 추천했습니다.이 제품은 8k 길이의 텍스트를 지원하고, 24k GPU 클러스터에서 학습을 위해 15T 이상의 토큰을 사용하며, 여러 평가 벤치마크에서 좋은 성능을 보입니다.일부 작업에서는 라마 3-8B가 라마 2-70B보다 더 나은 성과를 보입니다. 앞으로 몇 달 안에 더 많은 제품이 출시될 예정입니다.
공식 웹사이트에 따르면, Llama 3는 감독 미세 조정(SFT), 근접 정책 최적화(PPO), 직접 정책 최적화(DPO)를 포함한 고급 명령어 튜닝 기술을 사용하는데, 이는 Llama 2에 비해 질적으로 비약적인 발전입니다. 보안 측면에서는 Llama Guard 2, Code Shield, CyberSec Eval 2를 사용하는 새로운 버전의 신뢰 및 보안 도구가 Llama 2보다 "잘못 거부 성능"이 더 우수합니다.
Llama 3가 출시되었을 때, Meta는 공식 블로그에서 400B개 이상의 매개변수를 사용하여 새로운 버전의 모델을 훈련하고 있다고 언급한 바 있습니다. NVIDIA의 수석 과학자인 Jim Fan은 다음과 같이 믿습니다.Llama 3-400B의 향후 출시 가능성은 GPT-4 수준 모델이 오픈 소스 커뮤니티에서 사용 가능해지는 시작을 의미하며, 이를 통해 많은 연구 활동과 기초 스타트업이 컴퓨팅을 수행하는 방식이 바뀔 것입니다.

실제 시나리오에서 Llama 3의 성능을 평가하려면Meta는 제안 요청, 브레인스토밍, 분류, 폐쇄형 질의응답, 프로그래밍, 창의적 글쓰기, 정보 추출, 롤플레잉, 개방형 질의응답, 논리적 추론, 텍스트 재작성, 요약을 포함하되 이에 국한되지 않는 실제 사용 사례를 포괄하는 새로운 고품질 인간 평가 데이터 세트를 개발했습니다.
결과는 Meta Llama 70B가 Claude Sonnet, Mistral Medium 및 GPT-3.5에 비해 이점이 있음을 보여줍니다.

성능은 GPT-3.5를 능가하고 GPT-4에 가깝습니다. 저는 모두가 Llama 3를 경험하기를 고대하고 있다고 믿습니다. 긴 다운로드 대기 시간을 줄이고 컴퓨팅 리소스를 절약하며 모델 배포의 어려움을 줄이는 데 도움이 되도록,HyperAI는 튜토리얼 페이지에서 "Ollama와 Open WebUI를 사용하여 Llama3-8B-Instruct 배포" 및 "Ollama와 Open WebUI를 사용하여 Llama3-70B 배포" 튜토리얼을 시작했습니다.* Ollama와 Open WebUI는 각각 강력한 백엔드 모델 관리 기능과 프런트엔드 인터페이스 상호작용 기능을 제공합니다. 이 두 도구를 결합하면 대규모 모델의 배포와 관리를 쉽게 완료할 수 있습니다.
Llama3-70B는 1.07GB의 저장 공간만 차지합니다.한 번의 클릭으로 복제를 시작하세요!
HyperAI Hyperneural 튜토리얼 주소: *8B: https://hyper.ai/tutorials/31129*70B: https://hyper.ai/tutorials/31155
편집자는 튜토리얼에 따라 Llama 3 모델을 배포하고 모든 사람이 실제 효과를 시도해 볼 수 있도록 도왔습니다.
* 나는 의도적으로 라마3를 안내했지만, 속지 않았다. 하지만 GPT-3.5는 같은 질문에 속았습니다! 질문에 진지하게 답하는 모습을 보고 편집자는 도저히 믿을 수 없을 정도였다.

* 메이데이가 곧 다가옵니다. 휴가는 어디로 가야 할까? 수많은 곳 중에서 어디를 선택해야 할까?

* 수학 문제도 풀 수 있습니다. 더 이상 집에서 아이들을 가르치는 것에 대해 걱정할 필요가 없습니다!

* 번역도 가능해서 큰 문제가 해결됐어요!

* 취침 전 이야기, 또 다른 요령을 배웠어요.

데모 실행
1. hyper.ai에 로그인하고 튜토리얼 페이지에서 'Ollama와 Open WebUI를 사용하여 Llama3-8B-Instruct 배포' 또는 'Ollama와 Open WebUI를 사용하여 Llama3 70B 배포'를 선택합니다.
다음으로, "Ollama와 Open WebUI를 사용하여 Llama3-70B 배포" 튜토리얼을 예로 들어보겠습니다.

2. "이 튜토리얼을 온라인으로 실행"을 클릭하세요. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제하세요.

3. 오른쪽 하단에 있는 "다음: 해시레이트 선택"을 클릭합니다.

4. 이동 후 "NVIDIA RTX A6000 48GB"를 선택하고 "PyTorch" 이미지를 선택한 후 "다음: 검토"를 클릭합니다.신규 사용자는 아래 초대 링크를 사용하여 등록하여 RTX 4090 4시간 + 5시간을 받을 수 있습니다. CPU  무료해시레이트지속!
HyperAI 독점 초대 링크(복사하여 브라우저에서 열어서 등록하세요):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
참고: "Ollama 및 Open WebUI를 사용하여 Llama3-8B-Instruct 배포" 튜토리얼을 실행하는 경우 "NVIDIA GeForce RTX 4090"을 선택하여 실행하세요.

5. "계속 실행"을 클릭하고 리소스가 할당될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "작업 공간 열기"를 클릭합니다.

5. "계속 실행"을 클릭하고 리소스가 할당될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "작업 공간 열기"를 클릭합니다.

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama 서브

7. 새 터미널 페이지를 만들고 명령줄에 다음 내용을 입력하여 Open WebUI를 시작합니다.

bash /openbayes/input/input1/open-webui/backend/start.sh

8. 잠시 기다리세요. 명령줄에 "정보: Uvicorn이 http://0.0.0.0:8080에서 실행 중입니다"라는 메시지가 표시되면 오른쪽에 있는 API 주소를 브라우저 주소창에 복사하여 Open WebUI 페이지를 엽니다.API 주소 접근 기능을 이용하기 위해서는 이용자는 실명인증을 완료해야 합니다.

효과 표시
1. Open WebUI 인터페이스를 열고 계정에 로그인하세요.

계정: admin@example.com

비밀번호: adminadmin

2. Llama 3-70B 모델을 선택하세요.

3. 질문을 입력하면 사용할 수 있습니다.

현재 HyperAI 공식 웹사이트에서는 Jupyter Notebook 형태로 구성된 수백 개의 선택된 머신 러닝 관련 튜토리얼을 출시했습니다.
관련 튜토리얼과 데이터 세트를 검색하려면 링크를 클릭하세요.https://hyper.ai/tutorials
위에 적힌 내용은 이번에 편집자가 공유한 내용의 전부입니다. 이 내용이 여러분에게 도움이 되기를 바랍니다. 다른 흥미로운 튜토리얼을 배우고 싶으시다면, 메시지를 남겨주시거나 프로젝트 주소를 개인 메시지로 보내주세요. 편집자는 당신에게 맞는 코스를 맞춤화하고 AI와 함께 플레이하는 방법을 가르쳐 줄 것입니다.
참고문헌:

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA

2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg

3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w