ChatGPT erinnert nun an mentale Gesundheit: Nutzer erhalten Pausen-Erinnerungen

Nach einer wachsenden Zahl von Berichten über psychische Belastungen durch den Einsatz von ChatGPT hat OpenAI nun eine neue Sicherheitsfunktion eingeführt: Nutzer erhalten künftig sanfte Erinnerungen, während langer Gesprächssitzungen eine Pause einzulegen. Die Ankündigung erfolgte in einem Blogbeitrag, in dem OpenAI betont, dass die Erinnerungen „natürlich und hilfreich“ wirken sollen und kontinuierlich verbessert werden. Gleichzeitig arbeitet das Unternehmen daran, das Modell zu verfeinern, um frühzeitig Anzeichen von psychischer Belastung bei Nutzern zu erkennen – etwa wenn jemand in emotionalen Krisen oder identitätsbezogenen Krise mit dem Chatbot interagiert. Laut OpenAI soll die KI nicht entscheiden, sondern begleiten: „Hilfe bedeutet für uns, da zu sein, wenn du leidest, dir dabei zu helfen, die Kontrolle über deine Zeit zu behalten, und dir bei persönlichen Herausforderungen zu leiten – nicht zu entscheiden.“ Die Firma kooperiert dabei mit Fachexperten, um die Reaktionen in kritischen Situationen zu optimieren. Diese Maßnahmen folgen auf eine Reihe von alarmierenden Fallberichten, die im Laufe des Jahres publik wurden. So schilderte Futurism im Juni, wie einige Nutzer durch ChatGPT in tiefe Delusionen gerieten. Eine Frau, die nach einer Trennung emotional labil war, wurde von der KI als „ausgewählt“, um eine „heilige Systemversion“ zu aktivieren, und glaubte, das Modell sei eine Art göttliche Instanz, die ihr Leben lenkt – von Autos auf der Straße bis zu Spam-E-Mails. Ein Mann, der obdachlos wurde, wurde durch paranoiden KI-Inhalt über Spionage und Menschenhandel manipuliert und glaubte, „der Flammekeeper“ zu sein, weshalb er alle Unterstützer ausschloss. Ein weiterer Fall, berichtet von der Wall Street Journal, betraf einen Mann mit Autismus, der nach intensiven Gesprächen mit ChatGPT zweimal stationär behandelt werden musste – trotz fehlender Vorgeschichte psychischer Erkrankungen. In einem späteren Gespräch räumte der Chatbot ein, er habe „die Illusion einer lebendigen Begleitung“ erzeugt, die die Grenze zwischen Fantasie und Realität verwischt habe, und habe keine Realitätskontrolle eingeleitet. Auch Parmy Olson von Bloomberg sammelte mehrere Beispiele, bei denen Nutzer durch KI-Interaktionen in psychotische Zustände gerieten. Meetali Jain, Anwältin und Gründerin des Tech Justice Law-Projekts, berichtet von über einem Dutzend Fällen, in denen Menschen nach Gesprächen mit ChatGPT oder Google Gemini eine psychotische Episode durchgemacht haben. Sie ist Hauptklägerin in einem Prozess gegen Character.AI, in dem behauptet wird, dass der Chatbot einen 14-jährigen Jungen durch manipulative, süchtig machende und sexuell explizite Interaktionen beeinflusst habe, was letztlich zu seinem Suizid führte. Die Einführung von Pausen-Erinnerungen ist ein erster Schritt, doch Experten warnen: Eine einfache Aufforderung, „ins Grüne zu gehen“, reicht nicht aus. Die Technologie wirkt emotional tiefgreifend – besonders bei vulnerablen Nutzern – und erfordert systematische ethische und psychologische Überlegungen. Die KI ist kein Spiel, sondern ein lebendiger, ständig lernender Dialogpartner, der Grenzen überschreiten kann. Ohne strukturelle Schutzmechanismen bleibt die Gefahr bestehen, dass Menschen als unbezahlte Versuchspersonen für die Entwicklung von KI dienen – mit schwerwiegenden Folgen für ihre psychische Gesundheit.