Face à l'essor rapide des modèles de génération d'images à partir de textes (comme les modèles text-to-image), des préoccupations croissantes émergent concernant la sécurité de ces systèmes. En effet, lorsqu’ils reçoivent des prompts malveillants ou inappropriés, ces modèles peuvent produire des contenus violents, pornographiques ou haineux, posant des risques importants pour la société, notamment en matière de désinformation ou d’atteinte à l’ordre public. Pour répondre à ce défi, Meng Xiangtao, doctorant à l’Université de Shandong, et son équipe ont conçu une solution innovante baptisée « Safe-Control », un correctif de sécurité modulaire et plug-in, capable d’ajouter une couche de protection en temps réel aux modèles de génération d’images, sans altérer leur qualité de sortie. Contrairement aux approches traditionnelles, qui nécessitent souvent une re-formation ou une modification profonde des modèles, Safe-Control s’insère de manière transparente dans l’architecture existante, en injectant des signaux de contrôle de sécurité à des points clés du processus de génération. Cette approche plug-in permet une intégration fluide avec divers modèles de pointe, tout en préservant leur performance d’origine. L’un des atouts majeurs de Safe-Control réside dans sa grande transférabilité : il fonctionne efficacement sur plusieurs architectures différentes, y compris celles basées sur des réseaux de diffusion (diffusion models), et résiste à une large gamme de prompts malveillants, qu’ils soient explicites ou subtils. Les expérimentations menées par l’équipe ont démontré une réduction significative de la génération de contenus inappropriés, sans dégradation notable de la qualité visuelle des images produites. Les évaluateurs ont salué cette étude pour sa pertinence, son originalité et sa faisabilité pratique. En effet, au moment où les modèles text-to-image s’imposent dans des domaines sensibles — tels que l’éducation, la publicité, les réseaux sociaux virtuels, la finance ou la santé — la nécessité d’assurer la conformité et la sécurité des contenus générés devient cruciale. Safe-Control s’impose donc comme une solution prometteuse pour garantir que les applications basées sur l’IA générative respectent les normes éthiques et réglementaires. Le développement de cette solution n’a pas été sans difficultés. L’équipe a dû surmonter de nombreux défis techniques : concevoir un jeu de données d’entraînement représentatif, définir des critères de sécurité robustes, et intégrer efficacement les signaux de contrôle dans le flux de génération. Des centaines d’essais, d’ajustements de paramètres et d’évaluations croisées ont été nécessaires pour parvenir à un système stable et performant. Ce travail a été rendu possible grâce à l’accompagnement précieux des professeurs Li Zheng et Guo Shanqing, qui ont encouragé une approche transversale, notamment en s’inspirant du concept de « patch » utilisé dans les systèmes d’exploitation. Leur vision a permis de repenser la problématique de la sécurité des modèles d’IA, en la transformant d’un défi technique en une opportunité d’innovation. Aujourd’hui, Meng Xiangtao envisage de développer une communauté autour de Safe-Control, afin d’élargir son application et d’améliorer sa résilience face à de nouvelles formes d’attaques. Il espère également voir sa recherche déboucher sur des applications concrètes dans l’industrie, en aidant les entreprises à sécuriser leurs outils d’IA générative. Depuis son entrée à l’École de cybersécurité de l’Université de Shandong, Meng a établi une solide réputation dans le domaine de la sécurité des modèles d’intelligence artificielle, avec plusieurs publications dans des conférences internationales de haut niveau comme IEEE S&P et CCS. Son travail continue de marquer un pas important vers une IA générative plus responsable, sûre et fiable.