MedPromptX : Incarnation multimodale pour le diagnostic des radiographies thoraciques

Les images de radiographie thoracique sont couramment utilisées pour prédire les affections cardio-pulmonaires aiguës et chroniques, mais les tentatives d'intégrer ces images avec des données cliniques structurées rencontrent des défis en raison de dossiers médicaux électroniques (DME) incomplets. Cet article présente MedPromptX, le premier système d'aide à la décision clinique qui intègre des grands modèles linguistiques multimodaux (MLLM), l'approche par apprentissage à partir de quelques exemples (FP) et l'ancrage visuel (VG) pour combiner l'imagerie avec les données DME dans le diagnostic des radiographies thoraciques. Un MLLM pré-entraîné est utilisé pour compléter les informations manquantes dans les DME, offrant une compréhension complète de l'historique médical des patients. De plus, FP réduit la nécessité d'un entraînement exhaustif des MLLM tout en abordant efficacement le problème de l'hallucination. Cependant, le processus de détermination du nombre optimal d'exemples à quelques coups et la sélection de candidats de haute qualité peuvent être fastidieux, bien qu'ils influencent profondément les performances du modèle. Par conséquent, nous proposons une nouvelle technique qui affine dynamiquement les données à quelques coups pour s'adapter en temps réel aux nouvelles situations de patients. De plus, VG restreint la zone de recherche dans les images de radiographie, améliorant ainsi l'identification des anomalies. Nous mettons également à disposition MedPromptX-VQA, un nouveau jeu de données pour la réponse visuelle aux questions en contexte comprenant des images entrelacées et des données DME issues des bases de données MIMIC-IV et MIMIC-CXR-JPG. Les résultats montrent que MedPromptX atteint une performance SOTA (State-of-the-Art), réalisant une amélioration de 11 % du score F1 par rapport aux méthodes de base. Le code et les données sont disponibles au public sur https://github.com/BioMedIA-MBZUAI/MedPromptX.