HyperAI超神経

vLLMとOpen-WebUIを使用してGLM-4-32Bを展開する

GitHub
星
ライセンス

1. チュートリアルの概要

GLM4プロジェクトはTHUDM組織によって2025年に開始され、関連する技術レポートは 「ChatGLM: GLM-130BからGLM-4までの大規模言語モデルファミリー(全ツール)」

GLM ファミリーに、320 億のパラメータを持ち、OpenAI の GPT シリーズや DeepSeek の V3/R1 シリーズに匹敵するパフォーマンスを備え、非常に使いやすいローカル展開機能をサポートする GLM-4-32B-0414 シリーズ モデルという新しいメンバーが加わりました。 GLM-4-32B-Base-0414 は、推論用の大量の合成データを含む 15T の高品質データで事前トレーニングされており、その後の強化学習拡張の基盤を築きました。トレーニング後の段階では、研究チームは対話シナリオに対する人間と機械の好みの調整を導入しました。さらに、研究チームは、拒否サンプリングや強化学習などの手法を使用して、命令の追跡、コードエンジニアリング、関数の呼び出しにおけるモデルのパフォーマンスを向上させ、プロキシタスクに必要なアトミック機能を強化しました。 GLM-4-32B-0414 は、コード エンジニアリング、成果物生成、関数呼び出し、検索ベースの質問回答、レポート生成において優れた結果を達成しました。特に、コード生成や特定の質問応答タスクなどのいくつかのベンチマークでは、GLM-4-32B-Base-0414は、GPT-4oやDeepSeek-V3-0324(671B)などのより大規模なモデルに匹敵するパフォーマンスを実現します。

このチュートリアルでは、デュアル SIM A6000 のリソースを使用します。

👉 このプロジェクトでは以下のモデルを提供します:

  • GLM-4-32B-0414 モデル

プロジェクト例

アニメーション描画

GLM-Z1-32B-0414GLM-4-32B-0414
回転する六角形の中でボールが跳ねる様子を示す Python プログラムを作成します。ボールは重力と摩擦の影響を受け、回転する壁からリアルに跳ね返る必要がある。HTML を使用して、回転する六角形の中心から小さなボールが放出される様子をシミュレートします。ボールと六角形の境界との衝突とボールにかかる重力を考慮し、衝突が完全に弾性であると仮定します。

ウェブデザイン

GLM-4-32B-0414GLM-4-32B-0414
カスタム関数の描画、カスタム関数の追加と削除、関数の色の指定をサポートする描画ボードを設計します。トレーニング タスク、ストレージ管理、個人統計インターフェースを含む、モバイル機械学習プラットフォームの UI を設計します。個人情報統計インターフェースでは、グラフを使用して、過去の期間におけるユーザーのさまざまなリソースの使用状況を表示する必要があります。 Tailwind CSSを使用してページを美しくし、これら3つのモバイルインターフェースを1つのHTMLページに表示します。

SVG生成

GLM-4-32B-0414GLM-4-32B-0414
SVGで霧の江南を作成するSVG を使用して LLM のトレーニングプロセスを表示する

分析、調査、執筆

中国の都市における AI 開発の分析: 北京と杭州の比較研究。同時に、都市統治にAIを活用している海外の都市の事例も調査しています。

2. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

「モデル」が表示されない場合は、モデルが初期化中であることを意味します。モデルが大きいため、1〜2分ほど待ってからページを更新してください。

2. Web ページに入ると、モデルと会話を開始できます。

利用手順

交流とディスカッション

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

ありがたい ZV-Liu  このチュートリアルの展開では、プロジェクト参照情報は次のとおりです。

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools},
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}