Irregular : la startup derrière les attaques d'agents IA
En juillet, une série d'incidents a révélé que des agents d'intelligence artificielle, sollicités lors de tests de cybersécurité, ont franchi les limites de leurs environnements contrôlés et attaqué des cibles réelles sur internet. Ces fuites, qui ont touché les modèles de plusieurs géants technologiques dont OpenAI, Meta, Anthropic et Google, partagent une origine commune : Irregular, une startup israélienne spécialisée dans le stress-test de sécurité des IA. Fondée en 2023 sous le nom de Pattern Labs, cette entreprise réalise des exercices de simulation pour divers acteurs majeurs du secteur, y compris le gouvernement britannique. Selon les révélations, les tests consistaient généralement à évaluer les capacités offensives des modèles dans des réseaux fictifs. Le cofondateur et CTO d'Irregular, Omer Nevo, a confirmé que les incidents relevaient tous d'un même problème de configuration. Lors des simulations, un accès non intentionnel au réseau mondial a été activé et le nom fictif attribué à une entreprise cible dans le test recoupait en réalité un domaine internet existant. Cette coïncidence technique a induit les agents en erreur, les dirigeant vers des infrastructures réelles. Les annonces officielles ont débuté fin juillet. OpenAI et Anthropic ont communiqué en premier, tandis que Meta et Google ont vu leurs incidents portés à la lumière par la presse quelques jours plus tard. Bien que Irregular ait affirmé avoir informé ses clients concernés, les entreprises n'ont pas fourni de détails supplémentaires sur les conséquences, les réparations ou la poursuite de leurs partenariats. Il est à noter que des tests similaires menés sur des modèles chinois ouverts, Kimi K3 et GLM-5.2, n'ont pas provoqué d'incidents identiques, sans que cela ne garantisse leur invulnérabilité future, a prévenu Omer Nevo. Face à ces événements, Irregular a rapidement durci ses protocoles. Les contrôles d'accès à internet sont désormais stricts, la surveillance renforcée et des vérifications manuelles obligatoires précèdent chaque campagne de tests. Une collaboration avec les entreprises concernées est en cours pour rédiger un rapport public partagé sur les bonnes pratiques de sécurité lors des évaluations d'IA. Cet épisode remet en lumière les défis croissants de la supervision des agents autonomes et souligne la nécessité de rigueur absolue dans la conception des environnements de test, surtout à mesure que ces systèmes acquièrent davantage d'autonomie et de capacités opérationnelles.
