Command Palette
Search for a command to run...
온라인 튜토리얼: 압력 없이 대규모 모델을 배포하세요! Llama 3.1 405B 및 Mistral Large 2의 원클릭 작동
7월 23일 현지 시각, Meta는 공식적으로 Llama 3.1을 출시했습니다. 대형 405B 매개변수 버전은 오픈 소스 모델의 하이라이트 순간을 강력하게 열었습니다. 다양한 벤치마크 테스트에서 성능이 기존 SOTA 모델인 GPT-4o와 Claude 3.5 Sonnet을 따라잡거나 심지어 능가했습니다.
흥미로운 점은 라마 3.1이 왕좌를 두고 경쟁하던 바로 그때, 미스트랄 AI가 405B 모델의 약점인 배치의 어려움에 직접 도전하기 위해 미스트랄 라지 2를 출시했다는 것입니다.
405B 매개변수 스케일에 필요한 하드웨어 성능은 개별 개발자가 쉽게 넘을 수 있는 한계가 아니라는 점에는 의심의 여지가 없으며, 대부분의 애호가들은 주저하며 지켜볼 수밖에 없습니다. 미스트랄 라지 2 모델은 매개변수가 123B에 불과해 라마 3.1의 405B의 3분의 1도 안 되며, 배치 임계값도 그에 따라 낮아졌지만 성능은 라마 3.1과 경쟁할 수 있다.
예를 들어, MultiPL-E 다중 프로그래밍 언어 벤치마크 테스트에서 Mistral Large 2의 평균 점수는 Llama 3.1 405B를 넘어섰고, GPT-4o보다 1% 뒤처졌습니다. Mistral Large 2는 Python, C++, Java 등에서 Llama 3.1 405B를 능가했습니다. 공식 성명에서 말했듯이 Mistral Large 2는 평가 지표의 성능/서비스 비용 측면에서 새로운 지평을 열었습니다.
* Open WebUI를 사용하여 한 번의 클릭으로 Llama 3.1 405B 모델을 배포합니다.
* Open WebUI를 사용하여 Mistral Large 2407 123B를 한 번의 클릭으로 배포하세요.
동시에, 필요에 따라 선택할 수 있는 고급 튜토리얼도 준비했습니다.
* Llama 3.1 405B 모델 OpenAI 호환 API 서비스의 원클릭 배포:
* Mistral Large 2407 123B 모델 OpenAI 호환 API 서비스의 원클릭 배포:
Open WebUI를 사용하여 Mistral Large 2407 123B를 한 번의 클릭으로 배포하고 테스트를 수행했습니다. 대형 모델은 종종 "9.9 또는 9.11 중 어느 것이 더 큰가"라는 문제를 해결하지 못했으며 Mistral Large 2도 이 문제에서 자유롭지 않았습니다.
데모 실행
이 텍스트 튜토리얼에서는 "Open WebUI를 사용하여 한 번의 클릭으로 Mistral Large 2407 123B를 배포하는 방법"과 "한 번의 클릭으로 Llama 3.1 405B 모델 OpenAI 호환 API 서비스를 배포하는 방법"을 예로 들어 작업 단계를 자세히 설명합니다.
Open WebUI를 사용하여 한 번의 클릭으로 Mistral Large 2407 123B를 배포하세요
1. hyper.ai에 로그인하고, 튜토리얼 페이지에서 'Open WebUI를 사용하여 Mistral Large 2407 123B 배포'를 선택하고, '이 튜토리얼을 온라인으로 실행'을 클릭합니다.
HyperAI 독점 초대 링크(복사하여 브라우저에서 열기):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
문제가 10분 이상 지속되고 "리소스 할당 중" 상태로 남아 있는 경우 컨테이너를 중지했다가 다시 시작해 보세요. 재시작해도 문제가 해결되지 않으면 공식 웹사이트의 플랫폼 고객 서비스에 문의하세요.
1. OpenAI 호환 API 서비스를 배포하려면 튜토리얼 인터페이스에서 "Llama 3.1 405B 모델 OpenAI 호환 API 서비스의 원클릭 배포"를 선택하세요. 마찬가지로 "온라인 튜토리얼 실행"을 클릭하세요.
