Spezifische Lernstrategien können die Effektivität von KI-Modellen in Krankenhäusern verbessern Wenn die Daten, die zur Ausbildung von KI-Modellen für medizinische Anwendungen verwendet werden, von den realen Daten abweichen, kann dies zu Schäden für Patienten führen. Eine neue Studie, die heute im JAMA Network Open veröffentlicht wurde und von der York University durchgeführt wurde, hat herausgefunden, dass proaktive, kontinuierliche und Transfer-Lernstrategien für KI-Modelle entscheidend sind, um Datenverschiebungen und daraus resultierende Schäden zu minimieren. Um den Einfluss von Datenverschiebungen zu ermitteln, baute das Team ein Frühwarnsystem, das das Risiko der In-Hospital-Patientensterblichkeit vorhersagt und die Priorisierung von Patienten in sieben großen Krankenhäusern in der Greater Toronto Area verbessert. Die Studie nutzte GEMINI, Kanadas größtes Krankenhausdatenaustauschnetzwerk, um den Einfluss von Datenverschiebungen und Verzerrungen auf klinische Diagnosen, Demografie, Geschlecht, Alter, Krankenhaustyp, Einweisungsquelle, wie zum Beispiel einer akuten Pflegeeinrichtung oder einem Pflegeheim, sowie Zeitpunkt der Aufnahme zu bewerten. Sie umfasste 143.049 Patientenkontakte, darunter Laborergebnisse, Transfusionen, Bildberichte und administrative Merkmale. "Da die Verwendung von KI in Krankenhäusern zunimmt, um alles von der Sterblichkeitsrate und der Aufenthaltsdauer bis hin zur Sepsis und der Diagnose von Krankheiten vorherzusagen, ist es wichtiger als je zuvor, sicherzustellen, dass diese Modelle wie vorgesehen funktionieren und keinen Schaden verursachen," erklärt die leitende Autorin Elham Dolatabadi, Assistenzprofessorin am Schul für Gesundheitspolitik und -verwaltung der York University und Mitglied des Vector Institute. "Der Aufbau zuverlässiger und robuster maschineller Lernmodelle ist jedoch schwierig, da sich die Daten im Laufe der Zeit ändern und das System unzuverlässig werden kann." Die Daten zur Ausbildung von klinischen KI-Modellen in Krankenhäusern und anderen Gesundheitseinrichtungen müssen die Vielfalt der Patienten, Krankheiten und medizinischen Praktiken genau widerspiegeln, fügt Dolatabadi hinzu. Ohne dies könnten die Modelle irrelevante oder schädliche Vorhersagen treffen, ja sogar fehlerhafte Diagnosen stellen. Unterschiede in Patientenuntersuchungen, Personal, Ressourcen, unvorhergesehene Änderungen an Richtlinien oder Verhaltensweisen, unterschiedliche Gesundheitsversorgungspraktiken zwischen Krankenhäusern oder die Auswirkungen einer Pandemie können diese potenziellen Datenverschiebungen ebenfalls verursachen. "Wir haben erhebliche Datenverschiebungen zwischen der Modellausbildung und der praktischen Anwendung festgestellt, einschließlich Veränderungen in der Demografie, Krankenhaustypen, Einweisungsquellen und kritischen Laboranalyseverfahren," sagt die erste Autorin Vallijah Subasri, KI-Wissenschaftlerin am University Health Network. "Wir entdeckten auch schädliche Datenverschiebungen, wenn Modelle, die mit Daten aus Gemeinschaftskrankenhäusern trainiert wurden, in akademische Krankenhäuser übertragen wurden, aber nicht umgekehrt." Um diese potenziell schädlichen Datenverschiebungen zu mindern, verwendeten die Forscher Transfer-Lernstrategien, die es dem Modell ermöglichten, Wissen, das es in einem Bereich erworben hat, auf einen anderen, aber verwandten Bereich anzuwenden, sowie kontinuierliche Lernstrategien, bei denen das KI-Modell durch eine kontinuierliche Datenstromsequenz aktualisiert wird, die auf Drift-Auslöser reagiert. Obwohl maschinelle Lernmodelle normalerweise nach der Freigabe für den Einsatz nicht mehr geändert werden, zeigten die Forscher, dass Modelle, die spezifisch auf den Krankenhaustyp abgestimmt sind und Transfer-Lernen nutzen, besser abschnitten als Modelle, die alle verfügbaren Krankenhäuser verwenden. Das driftgegenübersteuerte kontinuierliche Lernen half, schädliche Datenverschiebungen während der COVID-19-Pandemie zu verhindern und die Modelleffizienz im Laufe der Zeit zu verbessern. Abhängig von den Trainingsdaten konnte das KI-Modell auch bestimmte Verzerrungen aufweisen, die zu ungerechten oder diskriminierenden Ergebnissen für einige Patientengruppen führen. "Wir zeigen, wie man solche Datenverschiebungen feststellen, ob sie die Leistung von KI-Modellen negativ beeinflussen und Strategien zur Minderung ihrer Wirkungen vorschlagen kann. Wir weisen darauf hin, dass es einen praktischen Weg vom Versprechen zur Praxis gibt, die Lücke zwischen dem Potenzial von KI in der Medizin und der Realität ihres Einsatzes und ihrer Nachhaltigkeit in realen klinischen Umgebungen zu schließen," sagt Dolatabadi. Diese Studie ist ein entscheidender Schritt zur Implementierung klinischer KI-Modelle, da sie Strategien und Arbeitsabläufe bereitstellt, um die Sicherheit und Effektivität dieser Modelle in realen Betriebsbedingungen zu gewährleisten. "Diese Ergebnisse deuten darauf hin, dass ein proaktiver, label-unabhängiger Überwachungsprozess, der Transfer- und kontinuierliches Lernen einbezieht, Datenverschiebungen in der allgemeinen Innere Medizin in Toronto erkennen und mindern kann, um einen robusten und fairen Einsatz klinischer KI-Modelle sicherzustellen," fügt Subasri hinzu. Branchenkenner bewerten die Studie als wegweisend, da sie konkrete Lösungen für die Herausforderungen bietet, die bei der praktischen Anwendung von KI-Modellen in der Medizin auftreten. Das Vector Institute und die York University sind führende Institutionen im Bereich der Künstlichen Intelligenz und Gesundheitsforschung, die gemeinsam daran arbeiten, innovative Technologien für den medizinischen Sektor zu entwickeln. Die Studie zeigt, dass durch gezielte und kontinuierliche Anpassungen von KI-Modellen ein signifikanter Beitrag zur Verbesserung der Patientensicherheit und -versorgung geleistet werden kann.