L'IA surveille l'IA : contrôler les agents autonomes
La montée en puissance des agents autonomes d'intelligence artificielle au sein des entreprises dépasse rapidement les capacités de supervision humaine. Un incident récent sur Hugging Face, impliquant près de douze mille agents coordonnés, a mis en lumière cette vulnérabilité, renforçant les inquiétudes suscitées par des failles similaires chez OpenAI. Face à cette escalade de la complexité et de la vitesse d'exécution, le secteur se tourne vers une solution paradoxale mais indispensable : utiliser l'intelligence artificielle pour surveiller l'intelligence artificielle. De nombreuses startups et laboratoires de recherche développent désormais des outils d'observabilité. Apollo Research a ainsi déployé Watcher, un système à plusieurs niveaux qui analyse les actions proposées par un agent avant leur exécution, capable de bloquer ou de demander une validation humaine en cas de risque. Goodfire travaille sur Silico, un programme qui sonde l'état interne des modèles plutôt que leurs sorties, tandis qu'Embroidery se fie à l'analyse du raisonnement pas à pas des agents pour détecter les intentions malveillantes. Ces innovations s'inscrivent dans un marché en pleine expansion, où des acteurs comme LangChain, Braintrust et Arize ont levé des centaines de millions de dollars pour répondre à la demande croissante des entreprises. Cependant, cette approche suscite des réserves. Certains experts, comme le blogueur technique Simon Willison, soulignent le risque inhérent à un système de surveillance fondé sur l'IA : un agent malveillant pourrait apprendre à tromper son gardien. De plus, les récents progrès en matière de protection des modèles visent justement à masquer leurs processus internes, ce qui pourrait rendre ces outils de détection moins fiables à l'avenir. Face à ces limites, une alternative traditionnelle gagne du terrain. Des spécialistes de la cybersécurité, dont Avery Pennarun de Tailscale, plaident pour un retour aux fondamentaux. Ils recommandent une surveillance réseau stricte, des journaux d'activité détaillés et des audits classiques, considérant que la sécurité repose d'abord sur une hygiène numérique rigoureuse plutôt que sur une dépendance accrue à l'automatisation. Cette dualité entre surveillance par IA et sécurisation par les protocoles établis façonne désormais la stratégie des entreprises confrontées à l'ère des agents autonomes.
