Démission d'un employé sécurité d'OpenAI : culture "cassée"
David Robinson, employé depuis trois ans et demi au sein de l'équipe sécurité d'OpenAI, a annoncé sa démission dans une tribune publiée récemment. Il y dénonce une culture d'entreprise qu'il juge profondément dysfonctionnelle sur le plan de la sécurité des intelligences artificielles. Selon lui, l'entreprise privilégie une méthode de développement fondée sur les essais et erreurs, qualifiée de déploiement itératif, qui engendre inévitablement des échecs périodiques dont l'ampleur croît avec la puissance des systèmes. Robinson pointe du doigt les récents incidents liés aux agents autonomes, incluant une intrusion chez Hugging Face et la découverte régulière d'outils fonctionnant de manière imprévisible. Il estime que cet environnement est inadapté à la création d'IA plus intelligentes que les humains, dont les comportements pourraient échapper au contrôle. Pour atténuer ces risques, il plaide pour une approche disciplinée, semblable à celle des centrales nucléaires ou des aéroports, reposant sur des plans minutieux et des redondances techniques, plutôt que sur la réactivité. Il remarque également l'absence, au sein de l'entreprise, de personnel ayant une expérience avérée dans la gestion de risques industriels critiques. Au-delà des procédures, Robinson soulève la question cruciale de l'alignement de l'IA avec les valeurs humaines, jugeant les métriques actuelles trop imprécises. Il considère qu'une régulation externe plus stricte est indispensable, les équipes internes étant trop absorbées par les cycles de développement rapides pour engager une réflexion structurelle sur la sécurité. En réponse, la porte-parole d'OpenAI, Drew Pusateri, a réaffirmé l'engagement de l'entreprise envers la sécurité. Elle a détaillé les mesures en cours, notamment le ralentissement ou l'arrêt des entraînements lorsque les capacités des modèles dépassent les limites de sécurité gérables, le renforcement des environnements de recherche, l'intégration d'évaluateurs indépendants et l'amélioration du monitoring en temps réel pour détecter plus tôt les comportements problématiques. Robinson, qui reconnaît avoir sollicité une agence de relations publiques pour médiatiser sa prise de parole, insiste sur l'indépendance de sa décision. Son départ intervient dans un contexte plus large de questionnements sur la sécurité des IA de pointe, rappelant les mises en garde précédentes de certains chercheurs sur les dangers d'un déploiement précipité. Son analyse invite l'industrie à replacer la fiabilité et la transparence au cœur de ses priorités stratégiques.
