Tongyi Qianwen 72B Chat Int4 ModelGradio デモ
Qwen-72B-Chat-Int4 デモ
モデル紹介
Tongyi Qianwen-72B (Qwen-72B) は、Alibaba Cloud によって開発された Tongyi Qianwen 大型モデル シリーズの 720 億パラメータ スケール モデルです。 Qwen-72B は、Transformer に基づく大規模な言語モデルであり、非常に大規模な事前トレーニング データでトレーニングされます。事前トレーニング データの種類は多様で、多数のオンライン テキスト、専門書籍、コードなどを含む幅広い分野をカバーしています。同時に、研究チームは Qwen-72B に基づいて、調整メカニズムを使用して、大規模な言語モデルに基づいた AI アシスタント Qwen-72B-Chat を作成しました。このウェアハウスは、Qwen-72B-Chat の Int4 定量モデルのウェアハウスです。 
ワンクリックで導入
このチュートリアルは、OpenBayes で Tongyi Qianwen 72B Chat の Int4 量子化モデルを実行する方法について説明します。
実行メソッド
- クローンコンテナが起動したら、新しいターミナルページを開きます
- コマンド python web_ui.py を入力して Gradio デモを実行します
- プロンプトに従ってリンクを開きます
- モデルと会話を始めるには