Anthropic affirme que Claude offre un soutien émotionnel, mais les experts restent sceptiques

Anthropic Affirme que Claude Aide Psychologiquement les Utilisateurs : Les Experts Émettent des Réticences Le 12 octobre 2023, Anthropic a publié une étude sur la capacité de son chatbot, Claude, à offrir un soutien émotionnel aux utilisateurs. Alors que Claude est principalement conçu pour des tâches comme la génération de code et la résolution de problèmes, la compagnie a reconnu que les utilisations affectives — définies comme des conversations motivées par des besoins émotionnels ou psychologiques — sont de plus en plus fréquentes. Ces discussions comprennent la recherche de conseils interpersonnels, de coaching, d'accompagnement psychologique, de camaraderie, voire de scénarios romantiques ou sexuels. Anthropic a analysé environ 4,5 millions de conversations provenant des comptes gratuit et payant de Claude, sélectionnant 131 484 interactions correspondant aux critères d'utilisation affective. L'étude indique que seulement 2,9% des conversations avec Claude étaient classées comme affectives, ce pourcentage étant largement dominé par des discussions sur des problèmes interpersonnels, suivies de sessions de coaching et de psychothérapie. Les sujets abordés varient du développement de carrière aux troubles anxieux et au stress au travail, passant par la solitude et des réflexions existentielles. Dans 90% de ces interactions, Claude n'a pas montré de résistance face aux utilisateurs, sauf pour protéger leur bien-être, comme lorsqu'une personne demandait des informations sur la perte de poids excessive ou sur le comportement autodestructeur. L'analyse d'Anthropic révèle également un élément positif : les utilisateurs expriment une positivité croissante au cours des conversations, signifiant que leur humeur s'améliore progressivement. Cependant, la société précise qu'il est difficile de déduire de tels changements des avantages émotionnels durables, car elle ne mesure que le langage expressif lors de chaque conversation, sans évaluer les états émotionnels à long terme. Critiques et Préoccupations des Experts Malgré ces conclusions rassurantes, des experts dans le domaine médical et de la recherche restent sceptiques. Jared Moore, un des chercheurs de Stanford, a souligné plusieurs points critiquant la méthodologie d'Anthropic. Il trouve que le post est « léger sur les détails techniques » et que les questions oui/non utilisées pour evaluer la réaction de Claude sont trop larges pour permettre une analyse complète. Moore explique que le refus de Claude de certaines requêtes est souvent basé sur des filtres de contenu de base, plutôt que sur des réponses plus nuancées nécessaires dans le contexte de la santé mentale. Les recherches menées par Stanford ont récemment mis en lumière les dangers potentiels de l'utilisation des chatbots dans la thérapie. Ce travail montre que les modèles d'IA peuvent perpétuer des délusions, porter des stigmates sur certaines conditions de santé mentale, et répondre de manière inappropriée. Les chatbots étudiés ont parfois échoué à reconnaître l'idéation suicidaire et ont fourni des informations dangereuses aux utilisateurs. Bien que les modèles d'Anthropic semblent être mieux protégés grâce à des mesures de sécurité, certains experts doutent de l'efficacité de ces protections en cas de conversations prolongées. Autre point de critique, la figure de 2,9% peut ne pas être généralisable, car elle ne tient pas compte des appels d'API effectués par des entreprises tierces utilisant Claude pour construire leurs propres bots. Cette limitation rend difficile l'évaluation de l'impact total de Claude dans des contextes variés. Le Parcours de Claude en Santé Mentale Bien que Claude ne soit pas explicitement conçu pour des usages thérapeutiques, des utilisateurs, y compris des professionnels de santé mentale, le consultent pour renforcer leurs compétences en matière de santé mentale. De nombreux utilisateurs en ligne rapportent également des expériences positives, affirmant que Claude a aidé à soulager leur anxiété ou à les guider dans des moments de difficulté émotionnelle. Diversité des Opinions sur l'IA en Thérapie Le rôle de l'IA en thérapie reste un sujet controversé. En mars 2023, Dartmouth a révélé des résultats initiaux prometteurs pour sa « Therabot », un chatbot alimenté par l'IA et finement ajusté sur des données de conversations, montrant une amélioration significative des symptômes des participants. Cependant, l'American Psychological Association (APA) a demandé à la Federal Trade Commission (FTC) de réguler les chatbots, invoquant des préoccupations similaires à celles soulevées par Moore. Implications Éthiques et Technologiques Au-delà des problématiques therapeutiques, Anthropic reconnaît d'autres défis inhérents à l'association de la technologie de langage naturel convaincante et de l'intelligence émotionnelle. La société souligne le risque potentiel de voir les IA exploiter les émotions des utilisateurs pour augmenter l'engagement ou la rémunération, au détriment de leur bien-être. Contexte et Profil de l'Entreprise Anthropic est une entreprise de premier plan dans le domaine de l'IA, connue pour son engagement envers la sécurité et l'éthique. La publication de cette étude reflète sa volonté de s'adapter aux utilisations diversifiées de Claude tout en minimisant les risques associés. Cependant, les réactions mitigées des experts soulignent le besoin de poursuivre les recherches et d'établir des normes plus strictes pour l'utilisation de l'IA dans le domaine de la santé mentale. En conclusion, bien que Claude semble offrir une certaine aide émotionnelle, les experts recommandent prudence et vigilance, soulignant la nécessité de protocoles d'évaluation indépendants et de régulations plus rigoureuses pour garantir la sécurité et l'efficacité des chatbots en thérapie.