HyperAI超神经

1. チュートリアルの概要

HealthGPTは、浙江大学、中国電子科技大学、アリババ、香港科技大学、シンガポール国立大学が2025年3月16日に共同で発表した医療用大規模視覚言語モデル（Med-LVLM）です。異種知識適応技術により、医療用視覚理解・生成タスクのための統一フレームワークを実現します。革新的な異種低ランク適応（H-LoRA）技術を用いることで、視覚理解・生成タスクの知識は独立したプラグインに保存され、タスク間の競合を回避します。HealthGPTには、それぞれPhi-3-miniとPhi-4の事前学習済み言語モデルに基づく、HealthGPT-M3（38億パラメータ）とHealthGPT-L14（140億パラメータ）の2つのバージョンがあります。このモデルは、階層的視覚知覚（HVP）と3段階学習戦略（TLS）を導入し、視覚特徴の学習とタスク適応能力を最適化します。関連論文の結果は「HealthGPT: 異種知識適応による理解と生成を統合する医療用大規模視覚言語モデルICML2025に収録され、スポットライトに選ばれました。

このチュートリアルでは、RTX A6000カード1枚のリソースを使用します。英語の使用を推奨します。

このプロジェクトでは、次の 2 つのモデルが提供されます。

HealthGPT-M3: 速度とメモリ使用量の削減を最適化した小型バージョン。
HealthGPT-L14: より高いパフォーマンスとより複雑なタスク向けに設計された大型バージョンです。

2. プロジェクト例

3. 操作手順

1. コンテナを起動した後、API アドレスをクリックして Web インターフェイスに入ります

2. 使用手順

「Bad Gateway」と表示される場合、モデルが初期化中であることを意味します。モデルが大きいため、2〜3分ほど待ってページを更新してください。

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

Githubユーザーに感謝 xxxjjjyyy1 このチュートリアルの展開。このプロジェクトの引用情報は次のとおりです。

@misc{lin2025healthgptmedicallargevisionlanguage,
      title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation}, 
      author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
      year={2025},
      eprint={2502.09838},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.09838}, 
}