Pré-entraînement non supervisé sur des graphes de population de patients pour des prédictions au niveau du patient

Le pré-entraînement a montré son efficacité dans divers domaines de l'apprentissage automatique, tels que la Vision par Ordinateur (Computer Vision, CV), le Traitement du Langage Naturel (Natural Language Processing, NLP) et l'imagerie médicale. Cependant, il n'a pas encore été pleinement exploré pour l'analyse des données cliniques. Bien qu'une quantité immense de données des Dossiers Médicaux Électroniques (Electronic Health Record, EHR) soit enregistrée, les données et les étiquettes peuvent être limitées si elles sont collectées dans de petits hôpitaux ou concernent des maladies rares. Dans ces scénarios, un pré-entraînement sur un ensemble plus vaste de données EHR pourrait améliorer les performances du modèle. Dans cet article, nous appliquons un pré-entraînement non supervisé à des données EHR hétérogènes et multimodales pour prédire les résultats des patients. Pour modéliser ces données, nous utilisons l'apprentissage profond basé sur les graphes sur des graphes de population. Nous concevons d'abord une architecture de réseau basée sur le graph transformer, conçue pour gérer différents types de caractéristiques d'entrée présents dans les données EHR, comme les caractéristiques continues, discrètes et séries temporelles, permettant une meilleure fusion multimodale des données. Ensuite, nous élaborons des méthodes de pré-entraînement basées sur l'imputation masquée pour pré-entraîner notre réseau avant le réglage fin sur différentes tâches finales. Le pré-entraînement est effectué de manière entièrement non supervisée, ce qui établit les bases pour un pré-entraînement futur sur de grands ensembles de données publiques avec des tâches variées et des modalités similaires. Nous testons notre méthode sur deux ensembles de données médicales contenant des dossiers de patients : TADPOLE et MIMIC-III, incluant des caractéristiques d'imagerie et non d'imagerie ainsi que différentes tâches de prédiction. Nous constatons que notre méthode de pré-entraînement basée sur les graphes aide à modéliser les données au niveau populationnel et améliore davantage les performances lors du réglage fin en termes d'AUC (Area Under the Curve) moyenne : +4,15 % pour MIMIC et +7,64 % pour TADPOLE.