Qwen-72B-Chat-Int4 デモ

モデル紹介

Tongyi Qianwen-72B (Qwen-72B) は、Alibaba Cloud によって開発された Tongyi Qianwen 大型モデル シリーズの 720 億パラメータ スケール モデルです。 Qwen-72B は、Transformer に基づく大規模な言語モデルであり、非常に大規模な事前トレーニング データでトレーニングされます。事前トレーニング データの種類は多様で、多数のオンライン テキスト、専門書籍、コードなどを含む幅広い分野をカバーしています。同時に、研究チームは Qwen-72B に基づいて、調整メカニズムを使用して、大規模な言語モデルに基づいた AI アシスタント Qwen-72B-Chat を作成しました。このウェアハウスは、Qwen-72B-Chat の Int4 定量モデルのウェアハウスです。 

ワンクリックで導入

このチュートリアルは、OpenBayes で Tongyi Qianwen 72B Chat の Int4 量子化モデルを実行する方法について説明します。

実行メソッド

1. クローンコンテナが起動したら、新しいターミナルページを開きます 

   

2. コマンド python web_ui.py を入力して Gradio デモを実行します 

   

3. プロンプトに従ってリンクを開きます 

   

4. モデルと会話を始めるには