MedFuse : Fusion multi-modale avec des données de séries temporelles cliniques et des images de radiographie thoracique

Les approches de fusion multi-modale visent à intégrer des informations provenant de différentes sources de données. Contrairement aux ensembles de données naturels, tels que ceux utilisés dans les applications audiovisuelles, où les échantillons consistent en des modalités « appariées », les données dans le domaine de la santé sont souvent collectées de manière asynchrone. Par conséquent, exiger la présence de toutes les modalités pour un échantillon donné n'est pas réaliste pour les tâches cliniques et limite considérablement la taille de l'ensemble de données lors de l'entraînement. Dans cet article, nous proposons MedFuse, un module de fusion basé sur LSTM qui est conceptuellement simple mais prometteur, capable d'accueillir des entrées mono-modales ainsi que multi-modales. Nous évaluons la méthode de fusion et présentons de nouveaux résultats de référence pour la prédiction de la mortalité hospitalière et la classification phénotypique, en utilisant des données temporelles cliniques du jeu de données MIMIC-IV et les images radiographiques thoraciques correspondantes du jeu de données MIMIC-CXR. Comparativement aux stratégies plus complexes de fusion multi-modale, MedFuse offre une amélioration significative des performances sur l'ensemble de test entièrement apparié. Il reste également robuste sur l'ensemble de test partiellement apparié contenant des échantillons avec des images radiographiques thoraciques manquantes. Nous mettons notre code à disposition pour assurer la reproductibilité et permettre l'évaluation future des modèles concurrents.