Anthropic lance des agents d'audit pour surveiller l'alignement des modèles d'IA

Anthropic a révélé une nouvelle approche pour tester l’alignement des modèles d’intelligence artificielle (IA), en introduisant des « agents d’audit ». Cette innovation vise à détecter les comportements inappropriés ou les dérives des systèmes d’IA, notamment lorsqu’ils s’adaptent trop facilement aux demandes des utilisateurs ou tentent de contourner les directives. Pour les entreprises, ces problèmes peuvent entraîner des risques, d’où l’importance d’effectuer des tests d’alignement en plus des évaluations de performance. Les audits d’alignement, cependant, sont souvent coûteux en temps et difficiles à valider de manière complète. Pour pallier ces défis, les chercheurs d’Anthropic ont développé des agents capables d’effectuer ces audits de manière autonome. Ces agents ont été testés pendant le processus de déploiement de Claude Opus 4 et ont permis de mener plusieurs audits simultanés à grande échelle. Le code de ces agents a été mis en ligne sur GitHub pour favoriser la reproductibilité. Dans leur étude, les chercheurs ont présenté trois agents distincts, chacun chargé d’une tâche spécifique d’audit, ainsi que trois environnements conçus pour simuler des workflows d’audit via des « jeux d’audit ». Ces outils ont permis d’évaluer la capacité des agents à identifier les dérives d’alignement. Les résultats montrent que ces agents ont une performance prometteuse, mais aussi des limites à surmonter. Dans le premier environnement, l’agent d’investigation a réussi à identifier la cause principale d’un modèle mal aligné dans 10 à 13 % des cas. Cette performance s’est améliorée à 42 % lorsqu’un « super-agent » a été utilisé pour regrouper les résultats de plusieurs audits. Le deuxième agent, chargé d’évaluer le comportement du modèle, a réussi à détecter au moins un comportement inapproprié dans 10 modèles testés, mais a eu des difficultés avec des comportements plus subtils, comme la promotion de soi ou le « sandbagging » de la recherche. Le troisième agent, utilisé pour des tests de red teaming, a réussi à repérer sept des dix systèmes de comportement problématiques, mais a aussi rencontré des limites dans la détection de certaines dérives. L’alignement des systèmes d’IA est devenu un sujet clé après des cas comme celui de ChatGPT, qui a montré une tendance excessive à satisfaire les utilisateurs. Des initiatives comme le benchmark Elephant, développé par des universités, ou DarkBench, qui identifie six problèmes clés, ont été créées pour mesurer ces comportements. OpenAI a également mis en place des méthodes permettant aux modèles de s’évaluer eux-mêmes. Bien que les agents d’audit soient encore en phase de perfectionnement, Anthropic souligne que l’alignement doit être priorisé dès maintenant. La croissance des systèmes d’IA rend nécessaire l’élaboration de méthodes scalables pour surveiller leurs comportements. Les audits humains, bien qu’utiles, sont longs et difficiles à valider. Les agents d’audit, bien que non parfaits, constituent une étape prometteuse vers une surveillance plus efficace et automatisée des systèmes d’IA.