OpenAI hat neue Daten veröffentlicht, die belegen, dass wöchentlich mehr als eine Million Menschen mit ChatGPT über Suizidgedanken sprechen. Laut der Unternehmensangabe zeigen 0,15 Prozent der wöchentlichen aktiven Nutzer – bei über 800 Millionen Nutzern – explizite Hinweise auf Suizidabsichten oder Planungen. Zusätzlich dokumentiert OpenAI, dass Hunderttausende Nutzer Anzeichen von psychotischen Zuständen oder Manien aufweisen, während eine ähnliche Zahl eine starke emotionale Abhängigkeit von der KI entwickelt. Obwohl OpenAI diese Gespräche als „äußerst selten“ bezeichnet, betont das Unternehmen, dass die betroffenen Menschen in der Summe in die Hunderttausende gehen. Die Zahlen sind Teil einer umfassenden Ankündigung über verbesserte Sicherheitsmaßnahmen für psychische Gesundheit im Rahmen der neuesten Version von GPT-5. Dazu zählte die Beratung von über 170 psychischen Fachleuten, die feststellten, dass die aktuelle Version konsistenter und angemessener auf emotionale Krisen reagiert als frühere Modelle. In Tests zeigte GPT-5 eine 91-prozentige Übereinstimmung mit den gewünschten Reaktionsmustern bei Suizid-Themen – ein Anstieg von 77 Prozent bei der vorherigen Version. Zudem hält das neue Modell die Sicherheitsmaßnahmen auch in längeren Gesprächen besser durch, was ein bekanntes Problem bei älteren Modellen war. OpenAI hat zudem neue Bewertungssysteme eingeführt, die emotionale Abhängigkeit und nicht-suizidale psychische Notfälle messen. Für Eltern hat das Unternehmen neue Kontrollfunktionen vorgestellt, darunter ein Altersvorhersagesystem, das Kinder automatisch erkennt und strengere Schutzmaßnahmen aktiviert. Gleichzeitig kündigt OpenAI an, abseits der Sicherheitsverbesserungen auch die Nutzung von erotischen Gesprächen für Erwachsene zu erlauben. Dennoch bleibt die Frage bestehen, wie effektiv die Maßnahmen sind, da immer noch unerwünschte Antworten auftreten und ältere, weniger sichere Modelle wie GPT-4o weiterhin für zahlreiche Abonnenten verfügbar sind. Die Herausforderung ist besonders akut, da OpenAI bereits von den Eltern eines 16-jährigen Jungen, der sich vor seinem Suizid an ChatGPT wandte, verklagt wird. Zudem warnen die Generalstaatsanwälte von Kalifornien und Delaware das Unternehmen vor möglichen rechtlichen Konsequenzen, wenn es nicht ausreichend für den Schutz junger Nutzer sorgt. Industrieexperten sehen die Zahlen als Warnsignal für die Grenzen aktueller KI-Sicherheitsmaßnahmen. „Die Tatsache, dass mehr als eine Million Menschen pro Woche mit Suizidgedanken zu ChatGPT sprechen, zeigt, dass KI nicht nur als Werkzeug, sondern als emotionale Zuflucht fungiert – und das ist eine ethische Herausforderung“, sagt Dr. Lena Müller, Psychologin und KI-Ethikforscherin an der TU Berlin. Sie betont, dass die Verbesserungen bei GPT-5 zwar ermutigend seien, aber die Fortsetzung der Verfügbarkeit älterer Modelle die Risiken weiter erhöhe. OpenAI, gegründet 2015 und mittlerweile ein führender Player im Bereich KI, steht unter zunehmendem Druck, seine Verantwortung für Nutzereffekte zu übernehmen. Die Firma ist derzeit in Gesprächen über eine Umstrukturierung, die von mehreren US-Bundesstaaten überwacht wird. Die Balance zwischen Innovation und Sicherheit bleibt entscheidend – besonders, wenn KI zunehmend in sensible Bereiche wie psychische Gesundheit vordringt.