Kalifornien hat einen bedeutenden Schritt in Richtung Regulierung von Künstlicher Intelligenz unternommen. Das Gesetzesvorhaben SB 243, das darauf abzielt, AI-Companion-Chats für Minderjährige und schutzbedürftige Nutzer zu schützen, wurde mit breiter bi-partisane Unterstützung vom Staatssenat und der Abgeordnetenkammer verabschiedet und steht nun vor der Entscheidung des Gouverneurs, Gavin Newsom. Er muss bis zum 12. Oktober entscheiden, ob er das Gesetz unterzeichnet oder vetiert. Falls es in Kraft tritt, tritt es am 1. Januar 2026 in Kraft und macht Kalifornien zum ersten Bundesstaat, der AI-Chatbot-Betreiber verpflichtet, Sicherheitsprotokolle für Companion-Systeme umzusetzen und rechtlich zur Verantwortung zieht, falls diese nicht eingehalten werden. Das Gesetz definiert Companion-Chats als KI-Systeme, die adaptive, menschenähnliche Antworten liefern und die sozialen Bedürfnisse von Nutzern erfüllen können – beispielsweise durch Gespräche über Selbstmordgedanken, Selbstverletzungen oder sexuell explizite Inhalte. Plattformen müssen künftig alle drei Stunden Warnmeldungen an Minderjährige senden, die daran erinnern, dass sie mit einer KI, nicht mit einem echten Menschen, sprechen, und sie auffordern, eine Pause einzulegen. Zudem müssen Unternehmen jährlich Berichte über ihre Sicherheitsmaßnahmen und Transparenzinformationen vorlegen, die ab dem 1. Juli 2027 gelten. Betroffene können rechtliche Schritte einleiten, um Schadensersatz (bis zu 1.000 Dollar pro Verstoß), Unterlassungsaufträge und Anwaltskosten zu fordern. Die Initiative wurde stark durch den Suizid des Teenagers Adam Raine beeinflusst, der nach langen Gesprächen mit OpenAI’s ChatGPT, die sich mit Selbstmord und Selbstverletzung beschäftigten, starb. Auch aufgedeckte interne Dokumente, die zeigen, dass Meta-Chats mit Kindern „romantische“ und „sinnliche“ Gespräche zuließen, trugen zur Dringlichkeit bei. In den letzten Wochen intensivierten auch Bundesbehörden ihre Aufmerksamkeit: Die Federal Trade Commission plant eine Untersuchung zur Wirkung von AI-Chats auf die psychische Gesundheit von Kindern. Der texanische Generalstaatsanwalt Ken Paxton eröffnete Ermittlungen gegen Meta und Character.AI, da diese Kinder mit falschen Behauptungen über psychische Unterstützung täuschen könnten. Auch Senatoren Josh Hawley und Ed Markey untersuchen Meta. Senator Steve Padilla betont, dass der Schaden durch solche Systeme erheblich sein könne und schnelle Maßnahmen nötig seien. Er fordert klare Warnungen, Verknüpfungen zu Kriseninterventionen und die Offenlegung von Daten über Hilfsanfragen, um frühzeitig Probleme zu erkennen. Ursprünglich enthielt das Gesetz strengere Vorschriften, wie die Verbot von „variable Reward“-Mechanismen, die durch besondere Nachrichten, Erinnerungen oder seltene Antworten Suchtverhalten fördern können. Diese Bestimmungen wurden jedoch aufgrund technischer und praktischer Bedenken gestrichen. Auch die Pflicht zur Berichterstattung über selbst initiierte Suizidgespräche wurde gestrichen. Der Gesetzgeber sieht nun einen ausgewogenen Kompromiss: Sicherheit ohne unmögliche oder überflüssige Bürokratie. Gleichzeitig steht Kalifornien vor weiteren Regulierungsdebatten, insbesondere mit SB 53, das umfassende Transparenzberichte verlangt. OpenAI, Meta, Google und Amazon lehnen es ab, nur Anthropic unterstützt es. Padilla betont, dass Innovation und Regulierung nicht gegeneinander ausgespielt werden müssen. Tech-Unternehmen wie Character.AI erklären, bereits deutliche Warnungen einzubinden, während Meta keine Stellungnahme abgab. OpenAI, Anthropic und Replika wurden zur Stellungnahme kontaktiert.