La prédiction des trajectoires de maladie à partir des dossiers de santé électroniques (DSE) constitue une tâche complexe, en raison de défis majeurs tels que la non-stationnarité des données, la granularité élevée des codes médicaux et l’intégration de données multimodales. Les DSE contiennent à la fois des données structurées, comme les codes diagnostiques, et des données non structurées, telles que les notes cliniques, qui renferment des informations essentielles souvent négligées. Les modèles actuels, principalement fondés sur des données structurées, peinent à capturer le contexte médical complet des patients, entraînant une perte d’informations précieuses. Pour relever ce défi, nous proposons une approche qui intègre les notes cliniques non structurées dans des modèles d’apprentissage profond basés sur les transformateurs, destinés à la prédiction séquentielle des maladies. Cette intégration enrichit la représentation des historiques médicaux des patients, améliorant ainsi la précision des prédictions diagnostiques. Des expériences menées sur le jeu de données MIMIC-IV montrent que l’approche proposée surpasser les modèles traditionnels reposant exclusivement sur des données structurées.