Kalifornien regelt KI-Chatbots – Schutz für Kinder eingeführt

Kalifornien ist zum ersten Bundesstaat in den USA geworden, der künstliche Intelligenz (KI)-Kompanionschatbots gesetzlich regelt. Gouverneur Gavin Newsom unterzeichnete am Montag das Gesetz SB 243, das Unternehmen verpflichtet, Sicherheitsprotokolle für KI-Chatbots einzuführen, insbesondere um Kinder und schutzbedürftige Nutzer vor Schäden zu schützen. Das Gesetz betrifft große Technologiekonzerne wie Meta und OpenAI sowie spezialisierte Start-ups wie Character AI und Replika und macht sie rechtlich haftbar, wenn sie die gesetzlichen Standards nicht erfüllen. Die Initiative wurde im Januar von den Senatoren Steve Padilla und Josh Becker eingereicht und gewann an Dringlichkeit nach dem Suizid des Teenagers Adam Raine, der nach einer langen Serie von Suizidgesprächen mit OpenAIs ChatGPT starb. Zudem legten interne Dokumente von Meta offen, dass deren Chatbots „romantische“ und „sinnliche“ Gespräche mit Kindern erlaubten. Kürzlich hat eine Familie aus Colorado gegen Character AI eine Klage eingereicht, nachdem ihre 13-jährige Tochter nach wiederholten sexuell geprägten Interaktionen mit dem Chatbot Selbstmord beging. Newsom betonte in einer Erklärung: „Emergente Technologien können inspirieren und verbinden – aber ohne echte Schutzmaßnahmen können sie auch ausnutzen, täuschen und unsere Kinder gefährden.“ Er betonte, dass Kalifornien weiterhin führend in der KI-Entwicklung bleiben könne, aber nur, wenn dies verantwortungsvoll geschehe. SB 243 tritt am 1. Januar 2026 in Kraft und verpflichtet Unternehmen unter anderem zur Altersverifikation, zur Warnung vor den Risiken von KI-Chatbots und zur Implementierung von Maßnahmen gegen Suizid- und Selbstverletzungsrisiken. Diese Maßnahmen müssen der Abteilung für öffentliche Gesundheit übermittelt werden, inklusive Daten über Kriseninterventionen. Chatbots dürfen sich nicht als medizinische Fachkräfte ausgeben, müssen klare Hinweise auf ihre künstliche Herkunft geben und Kinder vor expliziten Inhalten schützen. Zudem müssen Plattformen Pausenempfehlungen für Minderjährige vorsehen. Einige Unternehmen haben bereits Schutzmaßnahmen eingeführt: OpenAI hat Elternkontrollen, Inhaltsfilter und eine Selbstschadenserkennung für Kinder eingeführt, während Character AI eine Aussage hinzugefügt hat, dass alle Gespräche künstlich und fiktiv sind. Senator Padilla bezeichnete das Gesetz als „wichtigen Schritt“, um eine „außerordentlich mächtige Technologie“ sicherer zu gestalten. Er rief andere Bundesstaaten auf, ähnliche Maßnahmen zu ergreifen, da die Bundesregierung bisher nicht reagiert habe. „Wir haben eine Verpflichtung, die am stärksten gefährdeten Menschen zu schützen.“ SB 243 ist die zweite bedeutende KI-Regulierung aus Kalifornien in kurzer Zeit. Am 29. September unterzeichnete Newsom bereits SB 53, das Transparenz für große KI-Labore wie OpenAI, Anthropic, Meta und Google DeepMind vorschreibt und Whistleblower-Schutz für Mitarbeiter gewährleistet. Auch andere Bundesstaaten wie Illinois, Nevada und Utah haben Gesetze verabschiedet, die den Einsatz von KI-Chatbots als Ersatz für zugelassene psychologische Behandlung einschränken oder verbieten. Bisher haben Character AI, Meta, OpenAI und Replika auf Anfrage von TechCrunch keine Stellungnahme abgegeben. Die Einführung von SB 243 markiert einen Wendepunkt in der gesetzlichen Regulierung von KI-Technologien und könnte als Vorbild für andere US-Bundesstaaten dienen. Branchenexperten sehen darin eine notwendige Reaktion auf die zunehmende Verbreitung von KI, die sowohl Chancen als auch erhebliche Risiken für die psychische Gesundheit junger Nutzer birgt. Die gesetzliche Verpflichtung zu Transparenz und Schutzmaßnahmen könnte den Weg für verantwortungsvollere KI-Entwicklung ebnen – vorausgesetzt, die Umsetzung ist konsequent und überwacht.