온라인 튜토리얼: 단일 카드 A6000은 Gemma 3를 쉽게 배치하고 Huang Renxun 연설의 실제 장면을 정확하게 식별합니다.
3월 12일 저녁,구글은 단일 GPU나 TPU에서 구동할 수 있는 가장 강력한 모델로 알려진 '싱글 카드 데블'인 Gemma 3를 출시했습니다.실제 결과는 공식 블로그에서 언급한 내용을 확인해 주었습니다. 27B 버전은 671B로 DeepSeek V3를 제치고 o3-mini와 Llama-405B를 제쳤으며, DeepSeek R1에 이어 두 번째로 높았지만 컴퓨팅 성능 요구 사항은 다른 모델보다 훨씬 낮았습니다. 다음 그림과 같이:
*모델은 Chatbot Arena Elo 점수에 따라 순위가 매겨집니다. 점은 예상 컴퓨팅 성능 요구 사항을 나타냅니다.
이후 구글은 Gemma 3의 기술 보고서에 대한 금지도 관대하게 해제했습니다. Gemma 3는 증류, 강화 학습 및 모델 병합과 같은 방법을 결합했으며 사전 학습된 버전과 명령어 미세 조정 버전 모두 Gemma 2보다 성능이 더 뛰어나다고 소개되었습니다. 동시에 시각적 이해 기능과 더 광범위한 언어 이해 기능이 도입되어 140개 이상의 언어와 128k 이상의 긴 컨텍스트에 대한 이해를 지원합니다.
다양한 응용 시나리오에서 다중 모드 대형 모델 Gemma 3는 텍스트와 이미지 입력을 처리하고 텍스트 출력을 생성할 수 있어 질의 응답, 요약, 추론을 포함한 다양한 텍스트 생성 및 이미지 이해 작업에 적합합니다. 이번에 오픈소스로 공개된 1B, 4B, 12B, 27B의 4가지 매개변수 버전에는 사전 학습된 모델과 일반적인 명령어 미세 조정 버전이 모두 포함되어 있어, 모바일폰, 노트북, 워크스테이션 등의 기기에서 바로 빠르게 실행할 수 있습니다.
모든 사람이 이 "단일 GPU의 가장 강력한 멀티모달 모델"을 더 잘 경험할 수 있도록,HyperAI 공식 웹사이트의 튜토리얼 섹션에서는 270억 개의 매개변수를 갖춘 명령어 최적화 버전인 "vLLM을 사용하여 Gemma-3-27B-IT 배포"가 출시되었습니다.
튜토리얼 링크:
또한, 모든 분들을 위해 깜짝 보너스인 4시간을 준비했습니다. 싱글 카드 RTX A6000 무료 이용 기간(리소스 유효 기간은 1개월), 신규 사용자는 초대 코드를 사용합니다. 젬마-3등록해서 받으세요. 10개 자리만 남았습니다. 선착순으로 마감됩니다!
데모 실행
1. hyper.ai에 로그인하고 튜토리얼 페이지에서 'vLLM을 사용하여 Gemma-3-27B-IT 배포'를 선택하고 '이 튜토리얼을 온라인으로 실행'을 클릭합니다.
2. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.
3. NVIDIA A6000 및 PyTorch 이미지를 선택하고 계속을 클릭합니다. 우리는 컨테이너에 vLLM의 최신 버전을 미리 로드했습니다.
OpenBayes 플랫폼에서 새로운 청구 방법이 출시되었습니다. 귀하의 요구 사항에 따라 "사용 후 결제" 또는 "일일/주간/월간 패키지"를 선택할 수 있습니다. 신규 사용자는 아래 초대 링크를 사용하여 등록하고 RTX 4090 4시간 + CPU 자유 시간 5시간을 받으세요!
HyperAI 독점 초대 링크(복사하여 브라우저에서 열기):
https://openbayes.com/console/signup?r=Ada0322_NR0n
4. 리소스가 할당될 때까지 기다리세요. 첫 번째 클로닝 과정은 약 2분이 걸립니다. 상태가 "실행 중"으로 변경되면 "API 주소" 옆에 있는 점프 화살표를 클릭하여 데모 페이지로 이동합니다. 모델이 크기 때문에 WebUI 인터페이스를 표시하는 데 약 3분이 걸리며, 그렇지 않으면 "잘못된 게이트웨이"가 표시됩니다. API 주소 접근 기능을 이용하기 위해서는 이용자가 실명인증을 완료해야 합니다.
효과 표시
어제(3월 19일) 이른 아침, "가죽 검사" 황런쉰이 NVIDIA GTC 2025에서 기조연설을 했습니다. 저는 그를 통해 Gemma 3가 그림을 이해하는지 테스트했습니다. 그것은 황을 한눈에 알아볼 뿐만 아니라, 아래 그림과 같이 그가 리모컨을 들고 무대 위에 서 있다는 사실도 인식했습니다.
