온라인 튜토리얼: 압력 없이 대규모 모델을 배포하세요! Llama 3.1 405B 및 Mistral Large 2의 원클릭 작동
7월 23일 현지 시각, Meta는 공식적으로 Llama 3.1을 출시했습니다. 대형 405B 매개변수 버전은 오픈 소스 모델의 하이라이트 순간을 강력하게 열었습니다. 다양한 벤치마크 테스트에서 성능이 기존 SOTA 모델인 GPT-4o와 Claude 3.5 Sonnet을 따라잡거나 심지어 능가했습니다.
Llama 3.1이 출시된 날, 주커버그는 "오픈 소스 AI가 미래로 나아갈 길"이라는 제목의 긴 글을 썼으며, Llama 3.1이 업계의 전환점이 될 것이라고 말했습니다. 동시에 업계는 Llama 3.1이 보여준 강력한 성능을 시험해보고 싶어하는 반면, 폐쇄형 소스의 대형 모델이 어떻게 반응할지 기대하고 있습니다.
흥미로운 점은 라마 3.1이 왕좌를 두고 경쟁하던 바로 그때, 미스트랄 AI가 405B 모델의 약점인 배치의 어려움에 직접 도전하기 위해 미스트랄 라지 2를 출시했다는 것입니다.
405B 매개변수 스케일에 필요한 하드웨어 성능은 개별 개발자가 쉽게 넘을 수 있는 한계가 아니라는 점에는 의심의 여지가 없으며, 대부분의 애호가들은 주저하며 지켜볼 수밖에 없습니다. 미스트랄 라지 2 모델은 매개변수가 123B에 불과해 라마 3.1의 405B의 3분의 1도 안 되며, 배치 임계값도 그에 따라 낮아졌지만 성능은 라마 3.1과 경쟁할 수 있다.
예를 들어, MultiPL-E 다중 프로그래밍 언어 벤치마크 테스트에서 Mistral Large 2의 평균 점수는 Llama 3.1 405B를 넘어섰고, GPT-4o보다 1% 뒤처졌습니다. Mistral Large 2는 Python, C++, Java 등에서 Llama 3.1 405B를 능가했습니다. 공식 성명에서 말했듯이 Mistral Large 2는 평가 지표의 성능/서비스 비용 측면에서 새로운 지평을 열었습니다.
한 쪽에는 오픈소스 모델 매개변수 척도의 현재 "상한선"이 있고, 다른 쪽에는 초고도 "비용 효율성"을 갖춘 새로운 시대의 오픈소스 리더가 있습니다. 모두가 놓치고 싶지 않을 거라고 믿어요! 걱정하지 마세요. HyperAI에서 Llama 3.1 405B와 Mistral Large 2407에 대한 원클릭 배포 튜토리얼을 출시했습니다. 명령어를 입력할 필요 없이 "복제"를 클릭하기만 하면 바로 체험해 보실 수 있습니다.
* Open WebUI를 사용하여 한 번의 클릭으로 Llama 3.1 405B 모델을 배포합니다.
* Open WebUI를 사용하여 Mistral Large 2407 123B를 한 번의 클릭으로 배포하세요.
동시에, 필요에 따라 선택할 수 있는 고급 튜토리얼도 준비했습니다.
* Llama 3.1 405B 모델 OpenAI 호환 API 서비스의 원클릭 배포:
* Mistral Large 2407 123B 모델 OpenAI 호환 API 서비스의 원클릭 배포:
Open WebUI를 사용하여 Mistral Large 2407 123B를 한 번의 클릭으로 배포하고 테스트를 수행했습니다. 대형 모델은 종종 "9.9 또는 9.11 중 어느 것이 더 큰가"라는 문제를 해결하지 못했으며 Mistral Large 2도 이 문제에서 자유롭지 않았습니다.
관심 있는 친구들은 와서 체험해보세요. 자세한 튜토리얼은 다음과 같습니다⬇️
데모 실행
이 텍스트 튜토리얼에서는 "Open WebUI를 사용하여 한 번의 클릭으로 Mistral Large 2407 123B를 배포하는 방법"과 "한 번의 클릭으로 Llama 3.1 405B 모델 OpenAI 호환 API 서비스를 배포하는 방법"을 예로 들어 작업 단계를 자세히 설명합니다.
Open WebUI를 사용하여 한 번의 클릭으로 Mistral Large 2407 123B를 배포하세요
1. hyper.ai에 로그인하고, 튜토리얼 페이지에서 'Open WebUI를 사용하여 Mistral Large 2407 123B 배포'를 선택하고, '이 튜토리얼을 온라인으로 실행'을 클릭합니다.
2. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.
3. 오른쪽 하단에 있는 "다음: 해시레이트 선택"을 클릭합니다.
4. 페이지가 이동한 후 "NVIDIA RTX A6000-2"와 "vllm" 이미지를 선택하고 "다음: 검토"를 클릭합니다.신규 사용자는 아래 초대 링크를 사용하여 등록하고 RTX 4090 4시간 + CPU 자유 시간 5시간을 받으세요!
HyperAI 독점 초대 링크(복사하여 브라우저에서 열기):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
5. 확인 후 "계속"을 클릭하고 리소스가 할당될 때까지 기다리세요. 첫 번째 복제 과정은 약 2분 정도 걸립니다. 상태가 "실행 중"으로 변경되면 "API 주소" 옆에 있는 점프 화살표를 클릭하여 데모 페이지로 이동합니다.API 주소 접근 기능을 이용하기 위해서는 이용자는 실명인증을 완료해야 합니다.
문제가 10분 이상 지속되고 "리소스 할당 중" 상태로 남아 있는 경우 컨테이너를 중지했다가 다시 시작해 보세요. 재시작해도 문제가 해결되지 않으면 공식 웹사이트의 플랫폼 고객 서비스에 문의하세요.
6. 데모를 열면 바로 대화를 시작할 수 있습니다.
Llama 3.1 405B 모델 OpenAI 호환 API 서비스의 원클릭 배포
1. OpenAI 호환 API 서비스를 배포하려면 튜토리얼 인터페이스에서 "Llama 3.1 405B 모델 OpenAI 호환 API 서비스의 원클릭 배포"를 선택하세요. 마찬가지로 "온라인 튜토리얼 실행"을 클릭하세요.
2. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.
3. 오른쪽 하단에 있는 "다음: 해시레이트 선택"을 클릭합니다.
4. 페이지가 이동한 후, 모델이 크기 때문에 컴퓨팅 리소스는 "NVIDIA RTX A6000-8"을 선택해야 하지만, 이미지는 여전히 "vllm"을 선택합니다. "다음: 검토"를 클릭합니다.
5. 확인 후 "계속"을 클릭하고 리소스가 할당될 때까지 기다리세요. 첫 번째 복제에는 약 6분이 걸립니다. 상태가 "실행 중"으로 표시되면 모델이 자동으로 로딩을 시작합니다.
6. 페이지 하단으로 스크롤하세요. 로그에 다음과 같은 라우팅 정보가 표시되면 서비스가 성공적으로 시작되었음을 의미합니다. API 주소를 엽니다.
7. 열면 기본적으로 404 정보가 표시됩니다. 빨간색 상자에 추가 매개변수 "/v1/models"를 추가하면 현재 모델의 배포 정보가 표시됩니다.
8. 로컬에서 Open WebUI 서비스를 시작하고, "외부 연결"에서 추가 연결을 시작하고, "OpenAPI"에 이전 API 주소를 입력하고 "/v1"을 추가합니다. 여기에는 "API 키"가 설정되어 있지 않으므로 직접 입력해야 합니다. 오른쪽 하단에 있는 '저장'을 클릭하세요.
9. 저장 후, "모델 선택"에 Llama-3.1-405B가 나타나는 것을 볼 수 있습니다. 모델을 선택한 후 대화를 시작해 보세요!
마지막으로, 온라인 학술 공유 활동을 추천드립니다. 관심 있는 친구들은 QR 코드를 스캔하여 참여할 수 있습니다!
