vLLM 및 Open-WebUI를 사용하여 GLM-4-32B 배포
1. 튜토리얼 소개
GLM4 프로젝트는 2025년 THUDM 조직에 의해 시작되었으며 관련 기술 보고서는 "ChatGLM: GLM-130B부터 GLM-4까지 모든 도구를 갖춘 대규모 언어 모델 제품군".
GLM 제품군에는 320억 개의 매개변수를 갖추고 OpenAI의 GPT 시리즈 및 DeepSeek의 V3/R1 시리즈와 비슷한 성능을 보이며 매우 사용자 친화적인 로컬 배포 기능을 지원하는 새로운 모델인 GLM-4-32B-0414 시리즈가 추가되었습니다. GLM-4-32B-Base-0414는 추론을 위한 대량의 합성 데이터를 포함한 15T의 고품질 데이터에 대해 사전 학습되었으며, 이를 통해 이후 강화 학습 확장을 위한 기반을 마련했습니다. 연구진은 훈련 후 단계에서 대화 시나리오에 대한 인간과 기계의 선호도 정렬을 도입했습니다. 또한 연구팀은 거부 샘플링과 강화 학습과 같은 기술을 사용하여 명령어 따르기, 코드 엔지니어링, 함수 호출 측면에서 모델의 성능을 개선하고, 이를 통해 프록시 작업에 필요한 원자적 기능을 강화했습니다. GLM-4-32B-0414는 코드 엔지니어링, 아티팩트 생성, 함수 호출, 검색 기반 질의응답 및 보고서 생성 분야에서 좋은 성과를 거두었습니다. 특히 코드 생성이나 특정 질의응답 작업과 같은 여러 벤치마크에서 GLM-4-32B-Base-0414는 GPT-4o 및 DeepSeek-V3-0324(671B)와 같은 더 큰 모델과 비슷한 성능을 달성합니다.
이 튜토리얼에서는 듀얼 SIM A6000의 리소스를 사용합니다.
👉 이 프로젝트는 다음의 모델을 제공합니다.
- GLM-4-32B-0414 모델
프로젝트 예시
애니메이션 드로잉
GLM-Z1-32B-0414 | GLM-4-32B-0414 |
회전하는 육각형 안에서 공이 튀는 모습을 보여주는 파이썬 프로그램을 작성해 보세요. 공은 중력과 마찰의 영향을 받아야 하며 회전하는 벽에서 현실적으로 튀어야 합니다. | HTML을 사용하여 회전하는 육각형의 중앙에서 작은 공이 떨어지는 모습을 시뮬레이션합니다. 공과 육각형 테두리 사이의 충돌과 공에 작용하는 중력을 고려하고, 충돌이 완전히 탄성적이라고 가정합니다. |
웹 디자인
GLM-4-32B-0414 | GLM-4-32B-0414 |
SVG 생성
GLM-4-32B-0414 | GLM-4-32B-0414 |
분석, 연구 및 글쓰기
중국 도시의 AI 개발 분석: 베이징과 항저우를 비교 연구. 동시에 우리는 도시 거버넌스에 AI를 활용한 외국 도시의 사례를 조사하고 있습니다.
2. 작업 단계
1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.
"모델"이 표시되지 않으면 모델이 초기화되고 있음을 의미합니다. 모델이 크기 때문에 1~2분 정도 기다리신 후 페이지를 새로고침해 주세요.

2. 웹페이지에 접속 후 모델과 대화를 시작할 수 있습니다.
사용 방법

교류 및 토론
🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보
고마워하는 ZV-류 이 튜토리얼을 배포하기 위한 프로젝트 참조 정보는 다음과 같습니다.
@misc{glm2024chatglm,
title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools},
author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
year={2024},
eprint={2406.12793},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}