Lakera, société spécialisée dans la sécurité des applications d’agents IA, en collaboration avec Check Point Software Technologies et des chercheurs du UK AI Security Institute (AISI), a lancé le benchmark b3, une évaluation open-source dédiée à la sécurité des modèles linguistiques à grande échelle (LLM) au sein des agents IA. Ce nouvel outil repose sur une approche innovante appelée « threat snapshots » (instantanés de menaces), qui cible précisément les points critiques des workflows d’agents où les vulnérabilités des LLM sont le plus susceptibles d’apparaître, plutôt que de simuler l’ensemble du processus. Cette méthode permet une évaluation plus réaliste et ciblée des failles, sans le surcroît de complexité lié à la modélisation complète d’un agent. Le benchmark b3 intègre dix scénarios représentatifs d’attaques réelles, basés sur un ensemble de données de 19 433 attaques adversariales collectées via Gandalf: Agent Breaker, un jeu de simulation de cyberattaque gamifié conçu pour tester la résilience des agents IA. Ce jeu, initialement créé lors d’un hackathon interne chez Lakera, a évolué en la plus grande communauté mondiale de test rouge (red teaming) dédiée à l’IA générative, produisant plus de 80 millions de données. Il simule dix applications réalistes d’IA générative, allant de chatbots à des systèmes utilisant le code, la mémoire ou des outils externes, avec des niveaux de difficulté variés. Les premiers résultats obtenus en testant 31 LLM populaires révèlent des vulnérabilités critiques, notamment dans les domaines de l’exfiltration de prompts système, de l’insertion de liens malveillants, de l’injection de code dangereux, des attaques par déni de service et des appels d’outils non autorisés. Ces découvertes soulignent que la sécurité des agents IA dépend fondamentalement de celle de leurs LLM sous-jacents. Mateo Rojas-Carulla, co-fondateur et scientifique en chef de Lakera, souligne que « les instantanés de menaces permettent de mettre en lumière des failles jusque-là invisibles dans les workflows complexes d’agents ». En rendant le benchmark open-source, Lakera vise à fournir aux développeurs et aux fournisseurs de modèles des outils concrets pour mesurer et renforcer leur posture de sécurité. Lakera, fondée en 2021 par David Haber, Mateo Rojas-Carulla et Matthias Kraft, a été rachetée par Check Point en 2025. Elle est désormais une division de Check Point, leader mondial des solutions de cybersécurité. Son modèle repose sur une intégration continue de données issues de Gandalf et d’IA propres, permettant une défense évolutive en temps réel. Check Point, quant à lui, renforce son écosystème de sécurité via sa plateforme Infinity, qui intègre une approche préventive et une architecture hybride SASE. Enfin, le benchmark b3 est disponible sous licence open-source via arXiv (https://arxiv.org/abs/2510.22620), offrant un cadre standardisé pour l’évaluation de la sécurité des LLM dans les applications d’agents. Cette initiative marque une avancée majeure vers une cybersécurité plus robuste et proactive dans l’ère de l’IA agente.