HyperAIHyperAI

Command Palette

Search for a command to run...

il y a un jour
LLM
IA Générative

FLARE-AI, plateforme open-source pour la sécurité IA

Des chercheurs de l'Institut d'ingénierie logicielle de l'Université Carnegie Mellon, en collaboration avec des acteurs académiques et industriels, ont développé FLARE-AI, une plateforme open source dédiée au signalement des vulnérabilités des systèmes d'intelligence artificielle. Cette initiative comble une lacune majeure dans le secteur : jusqu'à présent, l'absence de canal formel de signalement empêchait de tracer efficacement les failles structurelles répliquées sur de multiples modèles et services partageant le même socle technologique. Fonctionnant sur le modèle des systèmes existants de cybersécurité, FLARE-AI permet à toute personne de soumettre un rapport standardisé et exploitable par les machines via un formulaire en ligne. Le système achemine ensuite ces alertes vers les développeurs de modèles, les intégrateurs tiers, les bases de données d'incidents ou des agences gouvernementales. Pour garantir une prise en charge efficace, la plateforme s'intègre directement à VINCE, le système de coordination des vulnérabilités géré par le CERT/CC de l'Institut. Grâce à cette connexion, des experts analysent les signalements, délivrent des identifiants CVE et coordonnent la divulgation et la correction des failles auprès de tous les acteurs concernés. Selon Lauren McIlvenny, directrice technique de l'analyse des menaces à l'Institut et conseillère du projet, cette architecture permet désormais un examen transversal des systèmes. Les chercheurs peuvent ainsi identifier une défaillance dans un modèle donné et vérifier simultanément sa présence sur d'autres plateformes, une étape cruciale pour une réponse sécurisée à l'échelle de l'écosystème. Greg Strom, ingénieur logiciel à l'Institut, a conçu l'intégration technique arrière qui rend cette coordination possible. Née d'un atelier de 2024 réunissant des experts en évaluation et sécurité de l'IA, la plateforme s'inscrit dans un contexte fédéral encourageant une meilleure coordination autour de la découverte et de la remédiation des vulnérabilités IA. FLARE-AI et ses partenaires sont d'ores et déjà positionnés comme un maillon clé d'un futur centre de ressource national en cybersécurité de l'IA. Cette approche collective marque une étape importante pour la maturité du secteur. En transposant les protocoles éprouvés de divulgation coordonnée des vulnérabilités au domaine de l'intelligence artificielle, les chercheurs espèrent rapprocher les communautés de la recherche IA et de la cybersécurité. Comme le souligne McIlvenny, l'adoption de ces pratiques structurelles permettra aux développeurs de mieux évaluer et gérer les risques inhérents à leurs créations, renforçant ainsi la fiabilité et la sécurité des outils IA à l'échelle mondiale.

Liens associés