HyperAI초신경

vLLM을 사용하여 Gemma-3-27B-IT 배포

1. 튜토리얼 소개

Gemma-3-27B-IT는 Google이 2025년에 오픈 소스로 공개한 3세대 Gemma 대형 모델로, 270억 개의 매개변수를 갖춘 명령어 최적화 버전입니다.

Gemma 시리즈는 Google이 오픈 소스로 공개한 대규모 모델 시리즈로, Gemini 모델과 동일한 연구와 기술을 기반으로 구축되었습니다. Gemma 3는 텍스트와 이미지 입력을 처리하고 텍스트 출력을 생성할 수 있는 대규모 멀티모달 모델로, 사전 훈련된 변형과 명령어 조정 변형 모두에서 개방형 가중치를 사용할 수 있습니다. 이 모델은 128K 컨텍스트 창을 가지고 있으며, 140개 이상의 언어를 지원하고, 이전 버전보다 더 많은 모델 크기를 제공합니다. Gemma 3 모델은 질의응답, 요약, 추론을 포함한 다양한 텍스트 생성 및 이미지 이해 작업에 적합합니다. 비교적 작은 크기 덕분에 노트북, 데스크톱, 클라우드 인프라 등 리소스가 제한된 환경에 배포하는 데 적합합니다.

이 튜토리얼에서는 데모로 gemma-3-27b-it을 사용하고, 컴퓨팅 리소스에는 단일 카드 A6000이 사용됩니다.

2. 작업 단계

1. 컨테이너를 시작한 후 API 주소를 클릭하여 웹 인터페이스로 들어갑니다. 모델이 크기 때문에 WebUI 인터페이스를 표시하는 데 약 3분이 걸리며, 그렇지 않으면 "잘못된 게이트웨이"가 표시됩니다.

2. 웹페이지에 접속 후 모델 추론을 수행할 수 있습니다.

  1. 텍스트 대화: 사진을 업로드하지 않고도 텍스트를 직접 입력하고 텍스트 대화를 나누세요
  2. 이미지 이해: 텍스트와 이미지를 입력하여 해당 모델 이해를 생성합니다.

* 예제를 실행하세요

교류 및 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓