OpenBayes で ChatGLM-6B モデルを実行する

チャットGLM-6B型

 ChatGLM-6B は、中国語と英語のバイリンガルをサポートするオープンソースの会話言語モデルであり、一般言語モデル (GLM) アーキテクチャに基づいており、62 億のパラメーターがあります。モデル量子化テクノロジと組み合わせると、ユーザーは最小 6 GB のビデオ メモリを備えた民生用グラフィック カードでローカル (INT4 量子化) を実行できます。 ChatGLM-6B は ChatGPT と同様のテクノロジーを使用しており、中国語の質疑応答と対話に最適化されています。約 1T の識別子を使用した中国語と英語のバイリンガル トレーニングを経て、スーパービジョン、セルフサービス フィードバック、ヒューマン フィードバック強化学習、その他のテクノロジーによって補完された結果、62 億パラメータの ChatGLM-6B は人間の好みと完全に一致する回答を生成することができました。

迅速な導入

1. 新しいターミナルページを開きます

2. コマンドを入力します cd ChatGLM-6B  ChatGLM-6B ディレクトリに移動します

3. コマンドを入力します python web_demo.py  Enter を押して Gradio デモを実行します。このプロセスには数秒かかります。

4. http://0.0.0.0:8080 が表示されたら、API アドレスを開いてアクセスします（API アドレスにアクセスするには実名認証が必要です）

5. APIアドレスを公開するとChatGLM-6Bが利用可能になります