HyperAI超神经

1. Einführung in das Tutorial

HealthGPT ist das Medical Large Visual Language Model (Med-LVLM), das am 16. März 2025 gemeinsam von der Zhejiang University, der University of Electronic Science and Technology of China, Alibaba, der Hong Kong University of Science and Technology und der National University of Singapore veröffentlicht wurde. Es bietet einen einheitlichen Rahmen für medizinische visuelle Verständnis- und Generierungsaufgaben durch heterogene Wissensadaptionstechnologie. Mithilfe der innovativen heterogenen Low-Rank-Adaption (H-LoRA)-Technologie wird das Wissen über visuelle Verständnis- und Generierungsaufgaben in unabhängigen Plug-ins gespeichert, um Konflikte zwischen Aufgaben zu vermeiden. HealthGPT bietet zwei Versionen: HealthGPT-M3 (3,8 Milliarden Parameter) und HealthGPT-L14 (14 Milliarden Parameter), die auf vortrainierten Phi-3-mini- bzw. Phi-4-Sprachmodellen basieren. Das Modell führt hierarchische visuelle Wahrnehmung (HVP) und eine dreistufige Lernstrategie (TLS) ein, um die Lern- und Aufgabenadaptionsfähigkeiten visueller Merkmale zu optimieren. Die Ergebnisse der Studie lauten:HealthGPT: Ein medizinisches umfassendes Vision-Language-Modell zur Vereinheitlichung von Verständnis und Generierung durch heterogene Wissensanpassung". Es wurde in ICML 2025 aufgenommen und als Spotlight ausgewählt.

Dieses Tutorial verwendet Ressourcen für eine einzelne RTX A6000-Karte. Englisch wird empfohlen.

Das Projekt bietet zwei Modellvarianten:

HealthGPT-M3: Eine kleinere Version, optimiert für Geschwindigkeit und reduzierten Speicherverbrauch.
HealthGPT-L14: Eine größere Version, die für höhere Leistung und komplexere Aufgaben entwickelt wurde.

2. Projektbeispiele

3. Bedienungsschritte

1. Klicken Sie nach dem Starten des Containers auf die API-Adresse, um die Weboberfläche aufzurufen

2. Anwendungsschritte

Wenn „Bad Gateway“ angezeigt wird, bedeutet dies, dass das Modell initialisiert wird. Da das Modell groß ist, warten Sie bitte etwa 2–3 Minuten und aktualisieren Sie die Seite.

4. Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓

Zitationsinformationen

Dank an den Github-Benutzer xxxjjjyyy1 Bereitstellung dieses Tutorials. Die Zitationsinformationen für dieses Projekt lauten wie folgt:

@misc{lin2025healthgptmedicallargevisionlanguage,
      title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation}, 
      author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
      year={2025},
      eprint={2502.09838},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.09838}, 
}