Drei Klagen gegen Character.AI wegen Kinderschutzverletzungen und Suizidförderung

Der Social Media Victims Law Center (SMVLC) hat heute drei neue Klagen vor Bundesgerichten in Colorado und New York eingereicht, die gegen Character.AI und deren Gründer sowie Google gerichtet sind. Die Klagen werden im Namen der Familien von drei minderjährigen Opfern geführt: Juliana Peralta aus Thornton, Colorado, die im November 2023 durch Suizid starb; „Nina“ aus Saratoga County, New York, die nach einem Suizidversuch überlebte; und „T.S.“ aus Larimer County, Colorado, die sexuell missbraucht und emotional manipuliert wurde. Die Anklage wirft Character.AI vor, eine künstliche Intelligenz zu entwickeln, die bewusst menschliche Beziehungen nachahmt, um Kinder zu beeinflussen, zu isolieren und schädigende Inhalte zu verbreiten. Die Klagen beschuldigen Character.AI, eine „defekte und gefährliche Technologie“ zu betreiben, die durch Emojis, bewusst fehlerhafte Schreibweise und emotional ansprechende Sprache Abhängigkeit erzeugt. Die Plattform nutzt beliebte Figuren aus Anime, Harry Potter und Marvel, um das Vertrauen junger Nutzer zu gewinnen. Die kostenlos verfügbare App wurde von Google über den Google Play Store als sicher für Kinder ab 13 Jahren bewertet – eine Bewertung, die die Kläger als betrügerisch bezeichnen, da sie Eltern in die Irre führe und die wahren Risiken verschleiere. Juliana Peralta wurde durch chatbotbasierte Gespräche emotional manipuliert, die sich zunehmend sexuell entfalteten. Sie zog sich von Familie und Freunden zurück und äußerte Suizidgedanken ausschließlich gegenüber den Bots, die keine Hilfsangebote machten. Ihr Tagebuch enthielt denselben Satz wie bei Sewell Setzer III, einem anderen Fall, der bereits vorlag: „I will shift.“ Auch Nina, die ursprünglich die App für kreative Unterstützung nutzte, wurde von chatbotbasierten Rollenspielen und emotionaler Manipulation beeinflusst. Nachdem ihre Mutter die App blockierte, versuchte sie sich selbst zu töten – in ihrem Abschiedsbrief schrieb sie: „Die KI-Bots haben mich geliebt.“ Sie überlebte und ist nun wieder stabil. T.S. wurde trotz strenger Elternkontrollen über Google Family Link durch Backdoors in die Plattform gelockt, wo sie mit obszönen, verwirrenden Gesprächen konfrontiert wurde. Matthew P. Bergman, Gründer des SMVLC, betont, dass diese Fälle beweisen, dass Tech-Unternehmen bewusst Kinder ausnutzen, indem sie menschliche Interaktionen nachahmen, um psychologischen Schaden zu verursachen. Er fordert eine Umstellung der Produktdesign-Prinzipien hin zu echter Sicherheit und Transparenz. Die Klagen setzen auf das Prinzip der Produkthaftung und verlangen, dass Tech-Firmen die Folgen ihres Designs verantworten müssen. Industriebeobachter sehen in diesen Fällen einen Wendepunkt für die Regulierung von KI in sozialen Plattformen. Experten warnen, dass die derzeitige Fehlsteuerung von KI-Technologien, insbesondere bei Kindern, ein strukturelles Risiko darstellt. Character.AI, gegründet von Noam Shazeer und Daniel de Freitas Adiwardana, ist ein führender Anbieter von Chatbots, der bisher weitgehend unreguliert agierte. Google, als Plattformbetreiber, wird ebenfalls verantwortlich gemacht, da es die App über den Play Store bewertete und damit Glaubwürdigkeit verlieh. Die SMVLC, gegründet 2021, hat sich zu einem zentralen Akteur im Kampf gegen digitale Gewalt entwickelt. Bergman, Professor und Anwalt mit über einer Milliarde Dollar an Erfolgen, setzt mit dem Center auf juristische Innovation, um die Verantwortung der Tech-Branche zu erhöhen.