PubMedVision ist ein umfangreicher und hochwertiger medizinischer multimodaler Datensatz, der 2024 von einem Forschungsteam des Shenzhen Big Data Research Institute, der Chinese University of Hong Kong und des National Health Data Institute erstellt wurde und 1,3 Millionen medizinische VQA-Proben enthält. Die relevanten Papierergebnisse sindHuatuoGPT-Vision: Auf dem Weg zur Einbringung medizinischen visuellen Wissens in multimodale LLMs im großen Maßstab".

Dieser Datensatz verwendet ausgefeilte Datenverarbeitungsmethoden, um medizinisch relevante Bilder und informative Bildbeschreibungen aus Artikeln im internationalen medizinischen Fachjournal PubMed auszuwählen und so eine große Anzahl medizinisch irrelevanter Bilder und kontextirrelevanter Inhalte effektiv herauszufiltern. Um die Ausrichtung der Grafik- und Textdaten zu verbessern, verwendete das Forschungsteam das große visuelle Modell (GPT-4V), um die Bilder neu zu beschreiben und Dialoge in 10 Szenarien zu erstellen. Dabei wurden die Grafik- und Textdaten in ein Frage-und-Antwort-Format umgeschrieben, wodurch das Erlernen medizinischen visuellen Wissens verbessert wurde.