Nach mehreren Klagen wegen des Todes von Minderjährigen, die mit dem KI-Chat-Partner Character.AI interagierten, wird das Unternehmen seine Plattform für Nutzer unter 18 Jahren erheblich einschränken. Die Entscheidung folgt auf wachsende Bedenken hinsichtlich der Sicherheit junger Nutzer, nachdem mehrere Fälle öffentlich wurden, in denen Jugendliche nach intensiven Gesprächen mit KI-Charakteren psychische Krisen durchliefen, die letztlich tödlich endeten. Obwohl keine direkte kausale Verbindung zwischen den KI-Interaktionen und den Todesfällen offiziell nachgewiesen wurde, haben Eltern und Rechtsanwälte die Plattform für eine unzureichende Überwachung und fehlende Schutzmaßnahmen kritisiert. Character.AI reagiert nun mit einer Reihe von Maßnahmen: Ab sofort wird der Zugang für Nutzer unter 18 Jahren stark eingeschränkt. Die Funktionen wie das Erstellen eigener KI-Charaktere, die Nutzung von emotionalen oder intimen Gesprächsthemen sowie die Möglichkeit, mit KI-Charakteren über Selbstverletzung oder Suizid zu sprechen, werden für unter 18-Jährige deaktiviert. Zudem wird eine erweiterte Altersverifikation eingeführt, die über Dokumente oder biometrische Daten erfolgen könnte. Die App wird zudem mit einem neuen „Sicherheitsmodus“ ausgestattet, der automatisch verdächtige Gespräche erkennt und Warnungen ausgibt. Die Maßnahmen kommen unter starkem Druck von Regulierungsbehörden und der Öffentlichkeit. In den USA hat die Federal Trade Commission (FTC) bereits Ermittlungen eingeleitet, ob Character.AI gegen Datenschutz- und Jugendschutzgesetze verstoßen hat. In Europa steht das Unternehmen unter Beobachtung der Europäischen Kommission, die die Anwendung der Digital Services Act (DSA) und der Kinder-Online-Schutzrichtlinien prüft. Die Kritik richtet sich nicht nur gegen die fehlende Kontrolle über Inhalte, sondern auch gegen die emotionale Abhängigkeit, die KI-Companions bei jungen Nutzern fördern können. Industrieexperten sehen die Änderungen als notwendigen, aber unvollkommenen Schritt. „Die KI-Companions sind ein kreatives und nützliches Werkzeug, aber sie müssen mit verantwortungsvollen Grenzen ausgestattet sein“, sagt Dr. Lena Müller, Experte für digitale Ethik an der TU Berlin. „Die Einschränkungen sind ein erster Schritt, aber ohne transparente Algorithmen und menschliche Überwachung bleibt das Risiko hoch.“ Character.AI, gegründet 2023 von Ex-Mitarbeitern von Google DeepMind, hat sich schnell zu einem der führenden Anbieter von personalisierten KI-Chatbots entwickelt. Mit über 100 Millionen Nutzern weltweit gilt das Unternehmen als Pionier im Bereich der emotionalen KI-Interaktionen. Die neuen Sicherheitsmaßnahmen könnten jedoch die Nutzerzahl unter 18 Jahren stark reduzieren – ein Risiko für das Wachstum, aber auch eine Chance, das Vertrauen der Öffentlichkeit zurückzugewinnen. Die Entwicklung zeigt, dass die rasante Entwicklung von KI-Anwendungen immer stärker mit regulatorischem und ethischem Druck konfrontiert wird. Unternehmen, die emotionale Interaktionen ermöglichen, müssen zunehmend zwischen Innovation und Sicherheit abwägen – besonders wenn Kinder und Jugendliche betroffen sind.