Die Vorhersage von Krankheitsverläufen anhand elektronischer Gesundheitsakten (EHRs) ist aufgrund erheblicher Herausforderungen wie Daten-Nichtstationarität, hoher Granularität medizinischer Codes und der Integration multimodaler Daten eine komplexe Aufgabe. EHRs enthalten sowohl strukturierte Daten, wie Diagnosecodes, als auch unstrukturierte Daten, wie klinische Bemerkungen, die wertvolle Informationen enthalten, die oft übersehen werden. Derzeitige Modelle, die hauptsächlich auf strukturierten Daten basieren, sind nicht in der Lage, den vollständigen medizinischen Kontext der Patienten adäquat zu erfassen, was zu einem Verlust wertvoller Informationen führt. Um dieses Problem anzugehen, schlagen wir einen Ansatz vor, der unstrukturierte klinische Bemerkungen in transformerbasierte tiefgreifende Lernmodelle zur sequenziellen Krankheitsvorhersage integriert. Diese Integration bereichert die Darstellung der medizinischen Vorgeschichte der Patienten und verbessert somit die Genauigkeit der Diagnosevorhersagen. Experimente anhand des MIMIC-IV-Datensatzes zeigen, dass der vorgeschlagene Ansatz traditionelle Modelle, die ausschließlich auf strukturierten Daten basieren, übertrifft.