Une étude publiée le 3 septembre dans la revue Future Science OA évalue la fiabilité des réponses fournies par ChatGPT 3.5 dans le domaine en évolution rapide des cancers du sang. Menée en juillet 2024, elle a été conduite par des médecins spécialistes en hématologie-oncologie anonymes qui ont évalué les réponses à 10 questions médicales, allant de généralités aux traitements récents. Le modèle, entraîné sur des données jusqu’en 2021, a obtenu une moyenne de 3,38 sur 5 pour les questions générales (comme les effets secondaires de la chimiothérapie) et de 3,06 pour les thérapies émergentes, comme les inhibiteurs de BCL-2. Aucune réponse n’a reçu une note maximale de 5, ce qui souligne des lacunes significatives, notamment en matière de précision, de complétude ou de clarté. Les auteurs concluent que l’avis médical humain reste indispensable pour valider toute information générée par l’IA avant son utilisation par les patients. Le Dr Justin Taylor, auteur principal et chercheur au Sylvester Comprehensive Cancer Center (Université de Miami), met en garde contre une utilisation aveugle des chatbots : « Les patients doivent rester critiques, surtout concernant les traitements spécifiques ou les diagnostics, et toujours consulter leur médecin ». Il rappelle que, comme lors de l’essor de Google, les patients et les professionnels ont progressivement appris à naviguer dans l’information médicale. Une adaptation similaire est en cours avec les modèles de langage à grande échelle (LLM), dont la capacité évolue rapidement, mais dont les réponses ne sont pas toujours fiables. L’étude s’inscrit dans un contexte où les traitements dans les cancers du sang évoluent rapidement, souvent personnalisés selon le profil du patient. Les questions posées reflétaient des préoccupations réelles des patients, depuis le diagnostic jusqu’à la gestion des traitements. Bien que ChatGPT ait correctement répondu à des questions générales sur la prévention du cancer du col de l’utérus ou la survie, il a montré des faiblesses sur des sujets complexes, comme les diagnostics ou les thérapies innovantes. Une limitation majeure est que seuls les modèles disponibles librement à l’époque ont été testés, notamment ChatGPT 3.5. Les versions ultérieures, comme ChatGPT 4, ou d’autres LLMs, n’ont pas été évalués. Cependant, le message de prudence reste pertinent : ces outils ne peuvent pas remplacer la nuance clinique, la prise en compte des spécificités individuelles ni les discussions entre professionnels de santé. Malgré ces limites, Taylor voit un potentiel utile. Les chatbots peuvent aider les patients à se préparer aux rendez-vous médicaux, à formuler des questions pertinentes ou à orienter vers des sources fiables. À l’Université de Miami, des initiatives d’intégration de l’IA sont déjà en cours : formation aux outils d’IA pour les étudiants en médecine, cours en ligne sur l’éthique de l’IA, et développement de systèmes d’aide au diagnostic en neuro-oncologie ou de modèles prédictifs pour le myélome multiple. L’équipe envisage de réévaluer la performance des nouvelles versions de ChatGPT dans un an ou deux, au vu de l’évolution rapide du domaine. Cette étude contribue ainsi à une réflexion plus large sur l’usage responsable de l’intelligence artificielle dans la santé, en mettant l’accent sur l’importance de la collaboration homme-machine.