VL-Health est le premier ensemble de données complet pour la compréhension et la génération de données médicales multimodales, publié en 2025 par l'Université du Zhejiang, l'Université des sciences et technologies électroniques de Chine et d'autres équipes. Les résultats de l'étude sont les suivants :HealthGPT : un modèle médical de vision et de langage à grande échelle pour unifier la compréhension et la génération via l'adaptation de connaissances hétérogènes". L'ensemble de données intègre 765 000 échantillons de tâches de compréhension et 783 000 échantillons de tâches de génération, couvrant 11 modalités médicales (y compris la tomodensitométrie, l'IRM, les rayons X, l'OCT, etc.) et plusieurs scénarios de maladies (des maladies pulmonaires aux tumeurs cérébrales).

Comprendre la tâche :

VL-Health intègre des ensembles de données professionnelles tels que VQA-RAD (questions de radiologie), SLAKE (amélioration des connaissances en matière d'annotation sémantique), PathVQA (questions et réponses de pathologie) et complète les données multimodales à grande échelle telles que LLaVA-Med et PubMedVision pour garantir que le modèle apprend toutes les capacités de la chaîne, de la reconnaissance d'images de base au raisonnement pathologique complexe.

Générer des tâches :

Les tâches de génération se concentrent principalement sur les quatre directions suivantes :

• **Conversion modale :**Sur la base des données appariées CT-IRM de SynthRAD2023, la capacité de conversion intermodalité du modèle est formée ;
• **Super résolution :**Utilisation de l'IRM cérébrale haute résolution de l'ensemble de données IXI pour améliorer la précision de la reconstruction des détails de l'image ;
• **Génération de texte et d'image :**Images et rapports radiographiques basés sur MIMIC-CXR, réalisant la génération de la description textuelle à l'image ;
• **Reconstruction d'image :**Adaptation de l'ensemble de données LLaVA-558k pour former les capacités d'encodage-décodage d'images du modèle. Classification des ensembles de données

Citation

@misc{lin2025healthgptmedicallargevisionlanguage,
title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation},
author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
year={2025},
eprint={2502.09838},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2502.09838},
}