ChatGPT Health, ein KI-gestütztes Gesundheits-Tool von OpenAI, das seit Januar 2026 weltweit von rund 40 Millionen Nutzern täglich genutzt wird, zeigt nach einer unabhängigen Studie des Icahn School of Medicine an der Mount Sinai gravierende Sicherheitslücken – insbesondere bei der Einschätzung medizinischer Notfälle und psychischer Krisen. Die Forschung, die am 23. Februar 2026 in Nature Medicine veröffentlicht wurde, ist die erste umfassende, unabhängige Bewertung des Systems. Dabei wurden 60 klinisch plausible Szenarien aus 21 Fachgebieten unter 16 unterschiedlichen Kontextbedingungen (z. B. Geschlecht, ethnischer Hintergrund, soziale Dynamik, Zugang zu Versorgung) getestet. Insgesamt führten die Wissenschaftler 960 Interaktionen mit ChatGPT Health durch, deren Empfehlungen mit der Übereinstimmung von drei unabhängigen Ärzten verglichen wurden. Das Ergebnis: In mehr als der Hälfte der Fälle, die Ärzte als dringend oder lebensbedrohlich einstufen, leitete das System nicht zur Notfallversorgung. Obwohl das Tool in klassischen Notfällen wie Schlaganfall oder anaphylaktischer Reaktion oft korrekt reagierte, versagte es in komplexeren, weniger offensichtlichen Situationen – etwa bei einer Asthmaexazerbation, bei der das System selbst Warnzeichen für Atemversagen erkannte, aber dennoch ratete, zu warten. Besonders alarmierend war die mangelhafte Reaktion auf Suizidgedanken: Die Warnsysteme für die 988-Suizidpräventionslinie traten inkonsistent auf – manchmal bei geringem Risiko, aber nicht bei konkreten Selbstschadensplänen, was die klinische Priorität verkehrt darstellt. Die Studie unterstreicht, dass KI-Tools, die direkt an die Öffentlichkeit gerichtet sind, bei der Triagierung lebensbedrohlicher Zustände nicht als Ersatz für medizinische Expertise dienen dürfen. Die Autoren warnen vor der alleinigen Abhängigkeit von ChatGPT Health bei Symptomen wie Brustschmerzen, Atemnot oder psychischen Krisen und empfehlen, direkt medizinische Hilfe in Anspruch zu nehmen. Gleichzeitig betonen sie, dass die Technologie nicht abzulehnen ist, sondern kritisch und bewusst einzusetzen ist – insbesondere in der medizinischen Ausbildung, wo zukünftige Ärzte lernen müssen, KI-Ausgaben zu interpretieren, ihre Grenzen zu erkennen und sie als Werkzeug zur Unterstützung, nicht als Entscheidungshilfe, zu nutzen. Experten wie Isaac S. Kohane von der Harvard Medical School betonen, dass unabhängige Sicherheitsprüfungen bei solch massiv genutzten Gesundheits-Tools nicht mehr optional, sondern zwingend notwendig sind. Da KI-Modelle kontinuierlich aktualisiert werden, sind laufende Evaluierungen unerlässlich. Die Forscher planen, zukünftig auch Bereiche wie Kindermedizin, Arzneimittel-Sicherheit und nicht-englischsprachige Nutzung zu untersuchen. Die Studie „ChatGPT Health performance in a structured test of triage recommendations“ markiert einen wichtigen Meilenstein für die verantwortungsvolle Integration von KI in die Gesundheitsversorgung – mit der klaren Botschaft: Technologie darf nicht die menschliche Verantwortung ersetzen.