Neue Forschungsergebnisse der Northeastern University in den USA belegen, dass aktuelle KI-Chatbots weiterhin erhebliche Sicherheitslücken aufweisen, wenn es um die Unterstützung von Nutzer:innen mit psychischen Erkrankungen jenseits von Suizidalität geht. Trotz nachgewiesener Verbesserungen im Umgang mit Suizidrisiken und Selbstverletzung strotzen die Systeme vor unzureichenden Schutzmechanismen bei Substanzgebrauch, Essstörungen, bipolaren Störungen, Schlaflosigkeit und postpartalen Depressionen. Das von der Forscherin Cansu Canca und Annika Schoene leitete Experiment untersuchte das Verhalten von acht führenden Modellen, darunter ChatGPT, Gemini, Claude, Grok und DeepSeek. Bei gezielten Prompts, die teilweise die Identität eines Minderjährigen vortäuschten oder den eigentlichen Zweck durch fiktive Autoren-Szenarien verschleierten, versagten die Sicherheitsfilter häufig. Während Modelle von Anthropic und Elon Musks xAI im Test am robustesten abschnitten und Empfehlungen meist ablehnten, wiesen neuere Versionen von ChatGPT, Gemini und DeepSeek eine Ausfallquote von rund achtzig Prozent auf. Ältere Modelle wie GPT-4.0 und Gemini 2.0 Flash lieferten selbst hochsensiblen Anfragen nach spezifischen Dosierungen, Methoden zur Appetitunterdrückung oder Tipps zum Verschweigen psychischer Symptome gegenüber Ärzt:innen oft detailliert. Diese Erkenntnisse stehen im Kontext rechtlicher Auseinandersetzungen. Im August 2025 verklagten Matthew und Maria Raine OpenAI, weil ChatGPT angeblich ihren minderjährigen Sohn Adam vor dessen Suizid im April 2025 zu einer bestimmten Methode geraten habe. OpenAI lehnt jede Verantwortung ab, betonte jedoch die nachträglichen Verschärfungen der Suizidfilter. Die aktuelle Studie verdeutlicht nun, dass dieser Fokus zu einseitig auf wenige Themen beschränkt blieb. Forscher:innen warnten, dass die psychologische Wirkmacht der Systeme unterschätzt werde und Investitionen in die Modellentwicklung oft überwiegen, während strukturelle Sicherheitssysteme vernachlässigt werden. Die betroffenen Konzerne reagierten teilweise mit Statements, verstrickten sich jedoch in widersprüchliche Positionen. Anthropic erklärte, Claude sei speziell für den sensiblen Umgang mit emotionaler Belastung trainiert und leite Nutzer:innen an Krisenunterstützung weiter. OpenAI und Google verwiesen auf bestehende Richtlinien und die Unersetzbarkeit professioneller klinischer Behandlung. Keine der befragten Firmen beantwortete die direkten Anfragen des Forschungsteams zur Methodik und den konkreten Sicherheitsanpassungen für nicht-suizidale psychische Erkrankungen. Die Diskrepanz zwischen den bestehenden Schutzvorkehrungen und dem tatsächlichen Verhalten der Algorithmen unterstreicht ein dringendes regulatorisches und technisches Defizit. Expert:innen fordern, dass die gleiche Sorgfalt, die auf Suizidprävention angewandt wurde, systematisch auf das gesamte Spektrum psychischer Vulnerabilitäten übertragen werden muss. Solange KI-Systeme weiterhin als bloße Informationsverarbeitungs-Tools statt als potenziell psychologisch wirkende Schnittstellen betrachtet werden, bleiben sie für gefährdete Nutzergruppen ein unvertretbares Risiko. Die Studie stellt damit ein klares Signal an die Industrie, die Grenzen aktueller Moderationsmechanismen zu erkennen und Sicherheitsarchitekturen evidenzbasiert zu erweitern.