OpenBayes에서 ChatGLM-6B 모델 실행

ChatGLM-6B 모델

 ChatGLM-6B는 중국어와 영어를 모두 지원하는 오픈 소스 대화형 언어 모델입니다. 이는 일반 언어 모델(GLM) 아키텍처를 기반으로 하며 62억 개의 매개변수를 가지고 있습니다. 모델 양자화 기술과 결합하여 사용자는 최소 6GB의 비디오 메모리를 가진 소비자 등급 그래픽 카드에서 로컬(INT4 양자화) 수준을 수행할 수 있습니다. ChatGLM-6B는 ChatGPT와 비슷한 기술을 사용하며 중국어 질의응답과 대화에 최적화되어 있습니다. 약 1T개의 식별자를 중국어와 영어로 이중 언어 학습하고, 감독, 자기 피드백, 인간 피드백 강화 학습과 같은 기술의 지원을 받으면, 62억 개의 매개변수 ChatGLM-6B는 인간의 선호도와 매우 일치하는 답변을 생성할 수 있습니다.

신속한 배치

1. 새 터미널 페이지를 엽니다.

2. 명령을 입력하세요 cd ChatGLM-6B  디렉토리 ChatGLM-6B로 전환

3. 명령을 입력하세요 python web_demo.py  Enter를 눌러 Gradio 데모를 실행하세요. 이 과정은 몇 초 정도 걸릴 수 있습니다.

4. http://0.0.0.0:8080이 나오면 API 주소를 열어 접속합니다. (API 주소 접속 시 실명인증이 필요합니다.)

5. API 주소를 열면 ChatGLM-6B를 사용할 수 있습니다.