VL-Health ist der erste umfassende Datensatz für medizinisches multimodales Verständnis und Generierung und wurde 2025 von der Zhejiang-Universität, der University of Electronic Science and Technology of China und anderen Teams veröffentlicht. Die relevanten Ergebnisse der Studie sind:HealthGPT: Ein medizinisches umfassendes Vision-Language-Modell zur Vereinheitlichung von Verständnis und Generierung durch heterogene Wissensanpassung".

Der Datensatz integriert 765.000 Beispiele für Verständnisaufgaben und 783.000 Beispiele für Generierungsaufgaben und deckt 11 medizinische Modalitäten (einschließlich CT, MRT, Röntgen, OCT usw.) und mehrere Krankheitsszenarien (von Lungenerkrankungen bis zu Hirntumoren) ab.

Verständnis der Aufgabe:

VL-Health integriert professionelle Datensätze wie VQA-RAD (Radiologiefragen), SLAKE (Wissenserweiterung durch semantische Annotation), PathVQA (Pathologiefragen und -antworten) und ergänzt umfangreiche multimodale Daten wie LLaVA-Med und PubMedVision, um sicherzustellen, dass das Modell die gesamte Kettenfunktionen von der grundlegenden Bilderkennung bis hin zu komplexen pathologischen Schlussfolgerungen erlernt.

Aufgaben generieren:

Die Generierungsaufgaben konzentrieren sich hauptsächlich auf die folgenden vier Richtungen:

• Modale Konvertierung:Basierend auf den CT-MRI-gepaarten Daten von SynthRAD2023 wird die Intermodalitätskonvertierungsfähigkeit des Modells trainiert;

• Superauflösung:Verwendung hochauflösender Gehirn-MRT aus dem IXI-Datensatz, um die Genauigkeit der Bilddetailrekonstruktion zu verbessern;

• Text-Bild-Generierung:Röntgenbilder und -berichte basierend auf MIMIC-CXR, wodurch die Generierung von der Textbeschreibung zum Bild realisiert wird;

• Bildrekonstruktion:Der LLaVA-558k-Datensatz wurde angepasst, um die Bildkodierungs- und -dekodierungsfunktionen des Modells zu trainieren.

Datensatzklassifizierung