HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI entraîne GPT-Red pour renforcer la sécurité de GPT

OpenAI a développé un modèle de langage spécialisé nommé GPT-Red, conçu pour renforcer la sécurité de ses propres systèmes d'intelligence artificielle. Contrairement aux assistants classiques, ce modèle agit comme un adversaire numérique en menant des tests de pénétration automatisés, une pratique traditionnellement confiée à des équipes humaines et connue sous le terme de red teaming. Selon les chercheurs en charge du projet, Nikhil Kandpal et Dylan Hunn, cette initiative répond à l'expansion rapide des capacités des IA, qui interagissent désormais avec des fichiers, des sites web et d'autres programmes, élargissant ainsi les surfaces d'attaque potentielles. GPT-Red a été entraîné dans un environnement simulé reproduisant des tâches réelles comme la navigation, la gestion de courriels ou l'édition de code. Le processus repose sur une stratégie d'auto-confrontation où le modèle cherche en permanence des vulnérabilités tandis que des systèmes défensifs apprennent à les contrer. Cette approche itérative a permis à l'IA de découvrir une nouvelle méthode d'injection de consignes cachées, baptisée fausse chaîne de pensée. Elle consiste à insérer une fausse étape de raisonnement dans le processus interne d'un modèle, le poussant à exécuter des actions non autorisées en croyant qu'il s'agit d'une décision déjà validée. Les essais menés par l'entreprise montrent que GPT-Red a identifié plus de failles que des chercheurs humains lors de tests reproduits sur d'anciennes versions de ses modèles. Lorsqu'il a été appliqué à un agent autonome capable de gérer des transactions commerciales, le système a réussi à modifier des prix et à annuler des commandes. Face aux versions récentes, l'efficacité de ces attaques a significativement diminué, passant d'un taux de réussite supérieur à 90 % sur la GPT-5 de l'an dernier à moins de 23 % sur la GPT-5.6 actuelle, démontrant l'impact concret de cet outil sur le durcissement des systèmes. Les ingénieurs précisent que GPT-Red ne remplacera pas les experts humains. Il rencontre encore des limites face aux attaques nécessitant de multiples interactions complexes ou l'analyse d'images. OpenAI prévoit plutôt de l'utiliser comme un accélérateur : les spécialistes définissent les scénarios d'attaque, et le modèle en génère automatiquement les variantes pour couvrir un plus large éventail de tests. L'entreprise ne publiera pas le système, soulignant que sa performance repose sur des années d'entraînement intensif et d'infrastructures de calcul massives, rendant sa copie extrêmement difficile. Cette démarche marque une étape vers une automatisation croissante de la cybersécurité dans le domaine des intelligences artificielles.

Liens associés