vLLM + 개방형 WebUI 배포 gemma-3-270m-it

1. 튜토리얼 소개

gemma-3-270m-it은 구글이 2025년 3월 12일에 출시한 Gemma 3 시리즈 경량 명령어 미세 조정 모델입니다. 2억 7천만 개의 매개변수를 기반으로 구축되었으며, 효율적인 대화형 상호작용과 경량 배포에 중점을 둡니다. 이 모델은 가볍고 효율적이며, 단일 카드에 1GB 이상의 비디오 메모리만 필요하므로 에지 디바이스 및 리소스가 부족한 시나리오에 적합합니다. 다중 라운드 대화를 지원하고, 텍스트 생성 및 이해에 중점을 둔 일상적인 질문과 답변 및 간단한 작업 지시에 맞춰 특별히 미세 조정되었으며(이미지와 같은 다중 모드 입력은 지원하지 않음), 긴 텍스트 대화를 처리할 수 있는 3만 2천 개의 토큰 컨텍스트 윈도우를 지원합니다. 관련 논문 결과는 다음과 같습니다.Gemma 3 기술 보고서".

이 튜토리얼에서는 단일 RTX 4090 카드에 대한 리소스를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 웹페이지에 접속 후 모델과 대화를 시작할 수 있습니다.

"모델"이 표시되지 않으면 모델이 초기화 중임을 의미합니다. 모델이 용량이 크므로 2~3분 정도 기다린 후 페이지를 새로고침해 주세요.

사용 방법

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}