OpenBayes で ChatGLM-6B モデルを実行する

チャットGLM-6B型

ChatGLM-6B は、中国語と英語のバイリンガルをサポートするオープンソースの会話言語モデルであり、一般言語モデル (GLM) アーキテクチャに基づいており、62 億のパラメーターがあります。モデル量子化テクノロジと組み合わせると、ユーザーは最小 6 GB のビデオメモリを備えた民生用グラフィックカードでローカル (INT4 量子化) を実行できます。 ChatGLM-6B は ChatGPT と同様のテクノロジーを使用しており、中国語の質疑応答と対話に最適化されています。約 1T の識別子を使用した中国語と英語のバイリンガルトレーニングを経て、スーパービジョン、セルフサービスフィードバック、ヒューマンフィードバック強化学習、その他のテクノロジーによって補完された結果、62 億パラメータの ChatGLM-6B は人間の好みと完全に一致する回答を生成することができました。