MedPromptX: Grundlegende multimodale Anregung für die Diagnose von Brust-Röntgenaufnahmen

Röntgenbilder der Brust sind häufig zur Vorhersage akuter und chronischer kardiopulmonaler Erkrankungen verwendet, aber Bemühungen, sie mit strukturierten klinischen Daten zu integrieren, stoßen auf Herausforderungen aufgrund unvollständiger elektronischer Gesundheitsakten (EHR). Dieses Papier stellt MedPromptX vor, das erste klinische Entscheidungsunterstützungssystem, das multimodale große Sprachmodelle (MLLMs), Few-Shot-Prompting (FP) und visuelle Verankerung (VG) kombiniert, um Bildinformationen mit EHR-Daten für die Diagnose von Röntgenbildern der Brust zu verbinden. Ein vortrainiertes MLLM wird eingesetzt, um fehlende EHR-Informationen zu ergänzen und ein umfassendes Verständnis der medizinischen Geschichte der Patienten bereitzustellen. Zudem reduziert FP die Notwendigkeit einer umfangreichen Schulung von MLLMs und bewältigt effektiv das Problem der Halluzination. Dennoch kann der Prozess zur Bestimmung der optimalen Anzahl von Few-Shot-Beispielen und die Auswahl hochwertiger Kandidaten belastend sein und hat einen tiefgreifenden Einfluss auf die Modellleistung. Daher schlagen wir eine neue Technik vor, die Few-Shot-Daten dynamisch verfeinert, um in Echtzeit auf neue Patientenszenarien anzupassen. Darüber hinaus verengt VG den Suchbereich in Röntgenbildern und verbessert so die Identifikation von Abnormitäten. Wir veröffentlichen auch MedPromptX-VQA, einen neuen Datensatz für visuelle Fragebeantwortung im Kontext, der verzahnte Bilder und EHR-Daten aus den Datenbanken MIMIC-IV und MIMIC-CXR-JPG umfasst. Die Ergebnisse zeigen die Spitzenleistung von MedPromptX, das im Vergleich zu den Baselines eine Verbesserung des F1-Scores um 11 % erreicht. Der Code und die Daten sind öffentlich zugänglich unter https://github.com/BioMedIA-MBZUAI/MedPromptX.