Eine aktuelle Studie in der Fachzeitschrift BMC Medicine warnt vor erheblichen Risiken bei KI-gestützten Gesundheitsmodellen, die auf nicht überprüfbaren Datensätzen basieren. Forschende der Queensland University of Technology (QUT) und des Australian Center for Health Services Innovation (AusHSI), angeführt von Alexander Gibson, haben zwei weltweit häufig heruntergeladene Gesundheitsdatensätze auf der KI-Plattform Kaggle analysiert. Die Datensätze, die zur Vorhersage von Schlaganfall- und Diabetesrisiken genutzt werden, lieferten keine belastbaren Informationen zu Herkunft, Erhebungsmethoden oder Patient:innenrepräsentanz. Dennoch fanden sie in 125 begutachteten Publikationen Verwendung, wurden in drei klinischen Prognosemodellen implementiert und sogar in einem Patent für ein medizinisches Gerät zitiert. Bei der Bewertung mittels des international anerkannten TRIPOD+AI-Rahmens erreichten die Datensätze null von neun möglichen Punkten für essentielle Datenherkunfts-Kriterien. Die fehlende Nachvollziehbarkeit führt nach Ansicht der Autoren zu unzuverlässigen Vorhersagen, die Ärzt:innen fehlleiten und Patient:innen schaden könnten. Bereits sieben Fachartikel, die auf diesen Daten beruhten, wurden aufgrund mangelhafter Validität zurückgezogen. Die Ergebnisse wurden zudem in die Sammlung der Open-Science-Integritätsleitfäden aufgenommen. Die Forschenden fordern von Fachzeitschriften, Förderinstitutionen und Datenarchiven strengere Offenlegungspflichten für Datenquellen. Als unmittelbare Maßnahme empfehlen sie die Entfernung der fragwürdigen Kaggle-Datensätze, um weitere Fehlanwendungen zu verhindern. Gibson betont, dass das Phänomen ein systemisches Problem der aktuellen KI-Forschung im Gesundheitswesen widerspiegle: Schnelle Produktionszyklen würden auf scheinbar wissenschaftlichen, aber intransparenten Daten aufbauen. Ohne wirksame Kontrollmechanismen bestünde die Gefahr, dass unzuverlässige Algorithmen weiterhin in klinische Entscheidungsprozesse eindringen. Die Studie unterstreicht die Dringlichkeit, Transparenz und Validierung in der Entwicklung medizinischer KI-Modelle zu verankern, bevor diese breitenwirksam eingesetzt werden.