HealthGPT: Ein medizinisches großes Vision-Sprachmodell zur Vereinigung von Verständnis und Generierung durch heterogene Wissensanpassung

Wir stellen HealthGPT vor, ein leistungsstarkes Medizinisches Large Vision-Language Modell (Med-LVLM), das medizinische visuelle Verständnis- und Generierungsfähigkeiten in einem einheitlichen autoregressiven Paradigma integriert. Unser Ansatz zur Stiefmütterlichkeit besteht darin, heterogene Verständnis- und Generierungswissen schrittweise an vortrainierte große Sprachmodelle (LLMs) anzupassen. Dies wird durch eine neuartige Technik der heterogenen Rang-1-Anpassung (H-LoRA) erreicht, die durch einen angepassten hierarchischen visuellen Wahrnehmungsansatz und eine dreistufige Lernstrategie ergänzt wird. Um HealthGPT effektiv zu trainieren, haben wir einen umfassenden medizinischen Domänen-spezifischen Verständnis- und Generierungsdatensatz namens VL-Health entwickelt. Experimentelle Ergebnisse zeigen außergewöhnliche Leistungsfähigkeit und Skalierbarkeit von HealthGPT bei medizinischen visuellen Einheitsaufgaben. Unser Projekt ist unter dieser HTTPS-URL zugänglich. 注释： - "Stiefmütterlichkeit" 通常指“继母般的待遇”，在这里可能不太合适。根据上下文，建议使用 "Bootstrapping Philosophie" 或 "Anpassungsphilosophie"。 - “HTTPS-URL” 是德语中常用的术语，因此直接使用。 修正后的版本： Wir präsentieren HealthGPT, ein leistungsstarkes Medizinisches Large Vision-Language Modell (Med-LVLM), das medizinische visuelle Verständnis- und Generierungsfähigkeiten in einem einheitlichen autoregressiven Paradigma integriert. Unsere Anpassungsphilosophie besteht darin, heterogene Verständnis- und Generierungswissen schrittweise an vortrainierte große Sprachmodelle (LLMs) anzupassen. Dies wird durch eine neuartige Technik der heterogenen Rang-1-Anpassung (H-LoRA) erreicht, die durch einen angepassten hierarchischen visuellen Wahrnehmungsansatz und eine dreistufige Lernstrategie ergänzt wird. Um HealthGPT effektiv zu trainieren, haben wir einen umfassenden medizinischen domänen-spezifischen Verständnis- und Generierungsdatensatz namens VL-Health entwickelt. Experimentelle Ergebnisse zeigen außergewöhnliche Leistungsfähigkeit und Skalierbarkeit von HealthGPT bei medizinischen visuellen Einheitsaufgaben. Unser Projekt ist unter dieser HTTPS-URL zugänglich.