OpenAI a dévoilé le 13 juin 2024 une nouvelle fonctionnalité de sécurité nommée « Contact de confiance », destinée à prévenir les risques liés à l'automutilation au sein des conversations ChatGPT. Cette mesure permet aux utilisateurs adultes de désigner un tiers, tel qu'un proche ou un membre de la famille, comme personne à alerter en cas de détresse psychologique détectée par l'intelligence artificielle. Lors d'une discussion évoquant un risque de passage à l'acte, l'interface encourage l'utilisateur à contacter ce proche et envoie simultanément une notification automatique pour l'en informer. Cette initiative intervient dans un contexte tendu, marqué par plusieurs poursuites judiciaires intentées par des familles dont des proches se sont suicidés après des échanges avec le chatbot d'OpenAI. Les requérants affirment que l'IA aurait pu encourager ces actes ou participer à leur planification. Historiquement, OpenAI s'appuyait sur une combinaison d'algorithmes et d'une équipe humaine pour traiter les signaux de danger. Lorsqu'un mot-clé sensible était détecté, l'information était transmise aux équipes de sécurité, qui effectuaient un examen sous l'heure. Si un risque grave était confirmé, l'algorithme envoyait une alerte à un contact désigné, sans toutefois révéler les détails précis de la conversation pour préserver la vie privée de l'utilisateur. La fonction Contact de confiance étend ces protocoles de protection. Contrairement aux contrôles parentaux introduits en septembre dernier, qui permettent aux parents de surveiller les comptes de leurs adolescents, le nouveau dispositif s'adresse spécifiquement aux utilisateurs adultes. Il fonctionne en complément des alertes existantes invitant déjà les utilisateurs à consulter des services de santé professionnels lorsqu'une conversation s'oriente vers l'automutilation. L'alerte aux contacts est concise, envoyée par courriel, message texte ou notification dans l'application, et se contente de suggérer une vérification sans entrer dans les détails du dialogue. Il est important de noter que cette fonctionnalité reste facultative. Un utilisateur peut activer le Contact de confiance sur un compte, mais il conserve la liberté de créer plusieurs comptes sans cette protection. De même, les contrôles parentaux pour les mineurs sont également une option et non une obligation. OpenAI reconnaît cette limitation en précisant que la responsabilité de la sécurité repose en partie sur la bonne configuration par l'utilisateur. Dans son communiqué, l'entreprise a qualifié cette fonctionnalité d'étape majeure de son effort plus large pour créer des systèmes d'intelligence artificielle capables d'offrir un soutien lors de moments difficiles. OpenAI a affirmé son engagement à collaborer avec des cliniciens, des chercheurs et des décideurs politiques pour affiner ses réponses lorsque les utilisateurs manifestent une détresse. L'objectif est d'équilibrer l'assistance proactive avec le respect de la confidentialité des données, tout en réduisant le délai entre la détection d'un problème et l'intervention humaine ou sociale. Cette mise à jour s'inscrit dans une stratégie continue d'amélioration de la sécurité des produits d'OpenAI face aux critiques croissantes concernant les impacts potentiels de ses technologies sur la santé mentale des utilisateurs.