Les systèmes d’agents agencés (agentic AI) gagnent en popularité, notamment dans le domaine médical, en permettant de construire des solutions complexes à partir de modèles fondamentaux sans avoir à entraîner de modèles sur mesure. À NeurIPS 2025, environ 20 à 25 % des publications abordaient des approches agencées, souvent basées sur des LLM, des agents à récupération augmentée ou des cadres décisionnels multi-étapes. Ces systèmes synthétisent des données hétérogènes, raisonnent par étapes et produisent des recommandations contextuelles. Toutefois, ils tendent à fournir des décisions binaires — « le patient a la maladie » ou « non » — plutôt que des probabilités calibrées, ce qui crée un écart critique avec les métriques classiques d’évaluation en santé, comme l’AUC (Area Under the Curve). L’AUC, métrique d’or en prédiction clinique, mesure la capacité d’un modèle à classer correctement les cas positifs par rapport aux négatifs, indépendamment de l’imbalanced des classes. Elle repose sur un score continu pour chaque patient, permettant de calculer un classement fiable. Or, les sorties binaires des agents ne permettent pas d’obtenir un AUC significatif : avec seulement deux valeurs possibles, la courbe ROC se réduit à un point, rendant l’AUC indéfinie ou dégénérée. Cela empêche toute comparaison valable avec les modèles classiques, qui s’appuient sur des probabilités continues. Pour surmonter ce décalage, il est essentiel de transformer les sorties agencées en scores continus. Plusieurs méthodes pratiques existent. La première consiste à extraire les log-probabilités internes du modèle, qui reflètent fidèlement la confiance du système. La seconde, souvent utilisée, est d’obtenir explicitement une probabilité de la part de l’agent, en l’incitant à formuler une estimation numérique. Cependant, cette approche souffre de mauvaise calibration si les exemples de référence ne sont pas clairs. La troisième méthode, le sampling Monte Carlo, consiste à exécuter plusieurs fois l’agent sur le même cas et à estimer la probabilité comme la fréquence des décisions positives — efficace mais coûteuse en calcul. Dans les agents à récupération augmentée, les scores de similarité avec des cas positifs passés peuvent servir de score de risque. Pour les sorties catégorielles (faible, moyen, élevé), un modèle de calibration peut être entraîné pour produire un score continu. Enfin, si l’agent possède un paramètre configurable (ex. : seuil de confiance), on peut varier ce paramètre, collecter les taux de sensibilité et spécificité, et construire une courbe ROC approximative. Ces méthodes permettent de réintégrer les systèmes agencés dans le cadre d’évaluation traditionnel, en maintenant la pertinence de l’AUC. Elles garantissent que les progrès des agents soient mesurables, comparables et compréhensibles par les cliniciens, statisticiens et revueurs. Sans cela, les innovations risquent de rester dans une bulle technique, éloignées des standards cliniques établis. L’objectif n’est pas de forcer les agents à produire des probabilités parfaites, mais de leur associer des scores continus qui reflètent fidèlement leur raisonnement interne, afin de préserver la rigueur scientifique dans l’évaluation des systèmes d’IA en santé. Évaluation des experts : Les méthodes proposées sont jugées pertinentes par plusieurs chercheurs en IA médicale, notamment pour leur faisabilité pratique. L’usage des log-probabilités et du sampling Monte Carlo est particulièrement valorisé pour sa robustesse, bien que l’ajout d’un modèle de calibration ou de paramètres configurables introduise une couche d’interprétation. L’adoption de l’AUC pour les agents agencés est perçue comme une étape cruciale pour l’acceptation clinique de ces technologies, en les ancrant dans un langage partagé. Des entreprises comme Google Health, DeepMind et Owkin explorent déjà ces approches dans leurs pipelines de déploiement clinique.