chi-bench (Clinical Healthcare Intelligence Benchmark) est un ensemble de données permettant d'évaluer les agents d'intelligence artificielle en santé, publié par Actava AI en 2026. Parmi les articles de recherche associés, on peut citer… CHI-Bench : Les agents d’IA peuvent-ils automatiser les flux de travail de soins de santé de bout en bout, à long terme et riches en politiques ? Cet ensemble de données vise à évaluer les capacités de planification, de raisonnement, d'invocation d'outils et de collaboration intersystèmes de l'agent d'IA dans un flux de travail de bout en bout du système de santé américain. Ce jeu de données construit un environnement de simulation d'activité médicale haute fidélité, intégrant 20 systèmes d'application médicale via l'interface ouverte du protocole MCP (Model Context Protocol) et fournissant une base de connaissances contenant 1 279 documents d'opérations médicales. Les scénarios d'évaluation couvrent trois grands domaines du système de santé américain : l'autorisation préalable, la gestion des citations et la gestion des soins de santé à l'échelle de la population. Il comprend 101 tâches d'évaluation, dont 75 tâches de base, 23 tâches de bout en bout à deux agents et 3 tâches de longue durée de type « marathon ». Il peut être utilisé pour la recherche et l'évaluation dans des domaines tels que les modèles médicaux à grande échelle, les agents médicaux, la collaboration multi-agents et l'automatisation des processus médicaux.

Citation

@misc{chen2026chibenchaiagentsautomate,
title={CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows?},
author={Haolin Chen and Deon Metelski and Leon Qi and Tao Xia and Joonyul Lee and Steve Brown and Kevin Riley and Frank Wang and T. Y. Alvin Liu and Hank Capps MD and Zeyu Tang and Xiangchen Song and Lingjing Kong and Fan Feng and Tianyi Zeng and Zhiwei Liu and Zixian Ma and Hang Jiang and Fangli Geng and Yuan Yuan and Chenyu You and Qingsong Wen and Hua Wei and Yanjie Fu and Yue Zhao and Carl Yang and Biwei Huang and Kun Zhang and Caiming Xiong and Sanmi Koyejo and Eric P. Xing and Philip S. Yu and Weiran Yao},
year={2026},
eprint={2605.16679},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2605.16679},
}