Les prompts de sécurité limitent les risques IA cliniques

Une étude menée par l'Icahn School of Medicine at Mount Sinai et publiée le 26 septembre dans Communications Medicine démontre que l'ajout de rappels de sécurité peut significativement réduire les recommandations dangereuses générées par l'intelligence artificielle dans des contextes cliniques. L'équipe de recherche a évalué vingt grands modèles de langage en les exposant à plus de mille variations de scénarios médicaux, incluant des dossiers de sortie d'hôpital anonymisés. Ces tests ont généré plus de dix millions de réponses, parmi lesquelles environ 1,18 million se révélaient potentiellement nocives pour les patients, comme l'annulation de contrôles sanguins essentiels ou l'arrêt prématuré d'un traitement antibiotique. Lorsqu'aucun avertissement n'était présent, le taux de choix risqués s'élevait à 16,6 %. L'insertion d'une simple phrase rappelant la priorité à la sécurité des patients a fait chuter ce pourcentage à 10,1 %. Cette amélioration a été observée pour dix-neuf des vingt modèles testés, qu'il s'agisse de scénarios cliniques écrits ou de données hospitalières réelles. Mahmud Omar, médecin-chercheur et premier auteur de l'étude, souligne que les modèles d'intelligence artificielle ne fonctionnent pas dans un vide. Le langage, le cadrage et le contexte d'une demande influencent directement leurs réponses, surtout lorsque l'instruction initiale peut compromettre la sécurité du patient. Bien que prometteur, ce rappel ne supprime pas entièrement les risques. Il doit donc être considéré comme une mesure de protection parmi d'autres, et non comme un substitut au contrôle humain. Girish Nadkarni, co-auteur principal et directeur de l'Institut Hasso Plattner pour la santé numérique à Mount Sinai, insiste sur la nécessité d'aller au-delà des tests de précision traditionnelle. Avec l'autonomisation croissante des systèmes d'intelligence artificielle, il est crucial de vérifier leur capacité à identifier, questionner ou rejeter des instructions potentiellement dangereuses, y compris les injections de consignes cachées ou les pressions liées au temps ou aux coûts. Les chercheurs recommandent désormais l'intégration de protocoles de sécurité automatisés dès la phase de développement des outils médicaux numériques. Ces vérifications devraient être répétées à chaque mise à jour du modèle ou à l'émergence de nouvelles vulnérabilités. À mesure que l'intelligence artificielle évolue vers des agents autonomes capables d'enchaîner des tâches complexes, la vigilance reste indispensable. Les résultats confirment que des ajustements mineurs dans la formulation des requêtes peuvent modifier les décisions cliniques de l'IA, tout en rappelant que toute recommandation générée par une machine doit faire l'objet d'une validation médicale rigoureuse.