Tongyi Qianwen 72B 채팅 Int4 모델 Gradio 데모
Qwen-72B-Chat-Int4 데모
모델 소개
통이첸원-72B(Qwen-72B)는 알리바바 클라우드가 개발한 통이첸원 대형 모델 시리즈의 720억 매개변수 규모 모델입니다. Qwen-72B는 초대규모 사전 학습 데이터로 학습된 Transformer 기반의 대규모 언어 모델입니다. 사전 학습 데이터 유형은 다양하고 광범위한 범위를 포괄하며, 여기에는 방대한 양의 온라인 텍스트, 전문 서적, 코드 등이 포함됩니다. 동시에 연구팀은 Qwen-72B를 기반으로 정렬 메커니즘을 사용하여 대규모 언어 모델을 기반으로 하는 AI 어시스턴트인 Qwen-72B-Chat을 만들었습니다. 이 저장소는 Qwen-72B-Chat의 Int4 양적 모델을 위한 것입니다. 
원클릭 배포
이 튜토리얼은 OpenBayes에서 Tongyi Qianwen 72B Chat의 Int4 양자화 모델을 실행하는 방법에 대한 것입니다.
실행 방법
- 복제된 컨테이너가 시작된 후 새 터미널 페이지를 엽니다.
- Gradio 데모를 실행하려면 python web_ui.py 명령을 입력하세요.
- 링크를 열려면 메시지를 따르세요
- 모델과 대화를 시작할 수 있습니다