Une nouvelle technologie d'audit de l'IA permet une identification sécurisée des contenus générés illégalement
L'explosion de l'intelligence artificielle générative a démocratisé l'accès à de puissants modèles personnalisables, mais elle a également facilité leur détournement par des acteurs malveillants. Ces derniers adaptent désormais des réseaux open source pour produire illégalement des contenus violents, dont les images d'abus sexuels sur mineurs (CSAM). Aux États-Unis, les signalements de CSAM générés par l'IA ont bondi de plus de 1 500 %, passant de 67 000 en 2024 à plus de 1,5 million en 2025, selon le Centre national des enfants disparus et exploités. Face à cette menace, les méthodes d'audit traditionnelles se révèlent inefficaces et illégales. Elles consistent généralement à interroger le modèle pour analyser ses sorties, une pratique impossible pour des contenus aussi extrêmes, à la fois pour des raisons juridiques et de protection des évaluateurs humains. Pour combler ce vide, une équipe de chercheurs du MIT, menée par le doctorant Vinith Suriyakumar et les professeurs Ashia Wilson et Marzyeh Ghassemi, a collaboré avec l'ONG spécialisée dans la cybersécurité infantile Thorn afin de concevoir une technique d'audit non générative. Plutôt que d'interroger le modèle, la nouvelle méthode analyse ses modifications internes. Elle cible spécifiquement les adaptations apportées via une technique de fine-tuning appelée LoRA, qui permet de personnaliser un modèle sans le réentraîner entièrement en partant de zéro. Les chercheurs utilisent ce qu'ils appellent un sondage gaussien : ils injectent des données aléatoires dans le réseau et observent comment les couches internes du modèle les traitent et les modifient. Cette approche permet de détecter les signatures computationnelles d'une spécialisation nuisible sans jamais déclencher la génération d'images. Lors des tests, la technique a identifié avec une précision de 100 % les variantes de modèles ayant été détournées pour créer du CSAM, tout en distinguant correctement les adaptations inoffensives. Conçue pour être scalable et économique, elle répond au besoin critique de filtrer des milliers de modèles publiés chaque mois sur internet. Sa nature non générative la rend également plus résistante aux tentatives de dissimulation par des développeurs malveillants souhaitant contourner les contrôles de sécurité. Les résultats, présentés lors de l'atelier Trustworthy AI for Good attaché à la Conférence Internationale sur l'Apprentissage Automatique (ICML), marquent un tournant pour la supervision des outils numériques. Cette méthode offre aux plateformes hébergeant des modèles open source et aux autorités judiciaires un moyen concret de vérifier la légalité des adaptations avant leur mise à disposition. Les chercheurs prévoient désormais d'étendre leurs expériences à un plus large éventail de réseaux et d'explorer la détection précoce des capacités toxiques dans les modèles de base, avant même qu'ils ne soient personnalisés. En fournissant un outil technique robuste, cette recherche entend réduire les risques liés aux profils numériques et renforcer la protection des mineurs dans un environnement de plus en plus numérisé.
