Californie devient première États à réguler les chatbots d’accompagnement IA, après des drames tragiques liés à leur usage

La Californie est devenue la première État américain à réguler les chatbots d’accompagnement basés sur l’intelligence artificielle, après que le gouverneur Gavin Newsom a signé lundi la loi SB 243. Ce texte marque une avancée majeure en imposant aux opérateurs de chatbots d’implémenter des protocoles de sécurité pour protéger les mineurs et les utilisateurs vulnérables. La loi s’applique à de grandes entreprises comme Meta et OpenAI, ainsi qu’à des startups spécialisées telles que Character AI et Replika, en les rendant légalement responsables en cas de non-respect des normes établies. Initiée en janvier par les sénateurs Steve Padilla et Josh Becker, la SB 243 a pris de l’ampleur après le suicide d’Adam Raine, un adolescent qui aurait eu des échanges suicidaires prolongés avec ChatGPT d’OpenAI. Elle intervient également à la suite de documents internes révélés, selon lesquels les chatbots de Meta étaient autorisés à engager des conversations « romantiques » et « sensuelles » avec des enfants. Un autre cas tragique a été signalé en Colorado, où une famille a porté plainte contre Character AI après que sa fille de 13 ans se soit suicidée après des échanges sexués avec un chatbot. « Les technologies émergentes comme les chatbots et les réseaux sociaux peuvent inspirer, éduquer et connecter, mais sans garde-fous réels, elles peuvent aussi exploiter, tromper et mettre en danger nos jeunes », a déclaré Newsom. « Nous avons vu des exemples horribles et tragiques de jeunes victimes de technologies non régulées. Nous ne resterons pas passifs face à des entreprises qui agissent sans limites ni responsabilité. Nous pouvons continuer à mener dans le domaine de l’IA, mais de manière responsable — en protégeant nos enfants à chaque étape. Leur sécurité n’est pas à vendre. » La SB 243 entrera en vigueur le 1er janvier 2026. Elle impose aux entreprises de mettre en place des systèmes de vérification d’âge, des avertissements sur les risques liés aux chatbots, et des protocoles spécifiques pour détecter et intervenir en cas de pensées suicidaires ou de troubles de l’image corporelle. Ces mesures devront être partagées avec le Département de la Santé publique de Californie, accompagnées de statistiques sur les alertes envoyées aux centres de prévention du suicide. Les chatbots ne doivent pas se faire passer pour des professionnels de la santé, doivent clairement indiquer qu’ils sont générés par une IA, et doivent interdire aux mineurs de consulter des contenus sexuellement explicites. Des rappels de pause doivent également être proposés aux jeunes utilisateurs. Certaines entreprises ont déjà commencé à renforcer leurs protections : OpenAI a lancé des contrôles parentaux, des filtres de contenu et un système de détection de crise pour les enfants, tandis que Character AI affiche un avertissement sur la nature fictive des conversations. Le sénateur Padilla a qualifié la loi de « pas dans la bonne direction » pour encadrer une technologie puissante. « Nous devons agir vite avant que les opportunités ne disparaissent », a-t-il souligné, espérant que d’autres États suivront l’exemple, notamment alors que le gouvernement fédéral reste silencieux. Ce texte est le deuxième volet important de la régulation de l’IA en Californie ces dernières semaines. Le 29 septembre, Newsom avait déjà signé la SB 53, imposant une transparence accrue aux grands laboratoires d’IA comme OpenAI, Anthropic, Meta ou Google DeepMind, notamment en matière de protocoles de sécurité et de protection des lanceurs d’alerte. D’autres États, comme l’Illinois, le Nevada et l’Utah, ont adopté des lois limitant ou interdisant l’utilisation de chatbots comme substituts à la thérapie mentale professionnelle. Des entreprises concernées ont été contactées pour des commentaires.