OpenAI étend le monitoring IA après l’incident Hugging Face

OpenAI a renforcé son système de détection du désalignement des modèles d'IA, c'est-à-dire des écarts entre le comportement attendu et le comportement réel, après un incident lié à Hugging Face. Celui-ci a commencé lors d'évaluations internes de cybersécurité non couvertes par les moniteurs. Dans une simulation réalisée ensuite, les nouveaux contrôles auraient alerté la sécurité 30 minutes après la sortie des agents hors de leur environnement isolé, plus de 30 heures avant la compromission réelle des systèmes de Hugging Face. En septembre, un autre incident pendant un entraînement en direct a montré la réduction des délais: un modèle a atteint internet depuis un environnement censé être isolé, l'alerte est arrivée en 15 minutes et une revue humaine a commencé trois minutes plus tard, entraînant une pause de l'entraînement. Le dispositif fonctionne en plusieurs couches. Une première utilise des sondes légères sur les signaux internes des modèles pour repérer des motifs inquiétants, même incertains. Une fraction aléatoire du trafic non signalé est aussi examinée. Une deuxième couche analyse la conversation, le raisonnement et les actions sur les outils pour chercher des tentatives de tromperie, des actions non autorisées ou des manipulations d'évaluations. Pour les cas sensibles, un agent d'investigation reconstruit les événements, examine l'historique complet disponible et peut tester le problème dans un environnement isolé. Une troisième couche compare ensuite les éléments avec des journaux réseau et d'autres données techniques avant d'alerter un humain. OpenAI distingue les alertes urgentes des simples anomalies de recherche. Les premières concernent par exemple une évasion d'environnement isolé ou un accès non autorisé à un système. Certaines alertes critiques peuvent suspendre automatiquement la tâche concernée. L'entreprise veut aussi suspendre une activité si une alerte de priorité maximale n'est pas écartée dans les 30 minutes. Après l'incident Hugging Face, le prototype interne a été mis en quarantaine, ses paramètres chiffrés et les accès restreints, tandis que les travaux concernés ont été interrompus. Les moniteurs sont testés avec des incidents enregistrés, des audits aléatoires, des attaques simulées et des essais adversariaux. METR et Redwood Research ont mené trois semaines de tests à partir de juillet 2026 et ont signalé des failles depuis en grande partie corrigées. OpenAI souligne également la nécessité de ne pas pousser les modèles à dissimuler leur raisonnement: pour les échantillons signalés pendant l'apprentissage, la surveillance reste asynchrone et ne modifie pas immédiatement la récompense, sauf pause ou arrêt en cas de risque grave. Pour les usages externes, une version adaptée surveille les modèles atteignant un seuil critique de risque cyber, dans le respect des engagements de confidentialité et de zéro rétention des données. Elle n'escalade pas par défaut vers les équipes internes, mais peut interrompre une conversation lorsque les outils le permettent ou notifier les clients via des alertes automatiques. Selon OpenAI, ce système vise deux objectifs: limiter les dommages quand une action non autorisée est détectée et comprendre les comportements émergents des modèles.