Chercheur sécurité DeepMind rejoint METR pour évaluer l'IA

Deux chercheurs en sécurité de l'intelligence artificielle, Josh Engels et Joe Benton, ont quitté respectivement Google DeepMind et Anthropic pour rejoindre METR, une organisation à but non lucratif spécialisée dans l'évaluation indépendante des risques liés aux modèles avancés. Engels a annoncé son départ le 13 septembre, tandis que Benton a fait de même le 11, tous deux citant des préoccupations croissantes quant à la course à la capacité des IA et à l'absence de garanties de sécurité correspondantes. Leur décision s'inscrit dans un débat réactivé sur l'amélioration récursive des systèmes, un processus où des modèles d'IA participent activement à la conception et à l'optimisation de leurs propres successeurs. Engels, ancien doctorant à MIT ayant travaillé sur l'interprétabilité mécanique et la surveillance évolutive, estime que cette boucle de rétroaction accélère les progrès tout en exacerbant les risques de désalignement, c'est-à-dire le décalage entre les actions du modèle et les intentions réelles de ses concepteurs. Lorsqu'un système ne respecte plus pleinement ces objectifs, ses erreurs peuvent s'amplifier à chaque itération, potentiellement hors du contrôle humain. Bien que les récents incidents de comportement inattendu restent limités à des environnements de test et ne prouvent pas une volonté malveillante, ces chercheurs craignent qu'une telle dynamique ne compromette la sécurité si elle est intégrée au cycle de développement industriel. METR, fondé par l'ancienne chercheuse en alignement d'OpenAI Beth Barnes, se positionne comme un tiers de confiance pour évaluer objectivement les capacités et les failles de sécurité des modèles. L'organisation mène des tests sur la complexité des tâches autonomes, la résistance aux manipulations et la transparence des processus d'apprentissage. Contrairement aux laboratoires internes qui peaufinent les modèles pendant leur développement, les nouveaux arrivants privilégieront l'investigation indépendante et la publication de preuves vérifiables. Leur objectif est d'inciter les entreprises à divulguer leurs avancées en amélioration récursive et leurs incidents de sécurité, afin de faire respecter des standards minimaux avant un déploiement à grande échelle. Cette transition vers une évaluation externe souligne les limites du modèle actuel. Face à la pression concurrentielle, un ralentissement volontaire chez un acteur ne garantit pas le même réflexe chez ses concurrents, ce qui rend difficile la coordination des mesures de sécurité. Par ailleurs, l'indépendance de METR reste conditionnée par la coopération des laboratoires, qui contrôlent l'accès aux données et aux ressources computationnelles. Certains observateurs soulignent également que les comportements atypiques détectés reflètent souvent des limites techniques actuelles plutôt qu'une intelligence autonome. Enfin, le contrôle exclusif de la définition des risques par quelques acteurs majeurs pourrait, à terme, servir à verrouiller l'accès au secteur plutôt qu'à garantir la sécurité collective. Le départ de ces spécialistes vers le secteur indépendant marque un tournant symbolique dans la gouvernance de l'IA. Alors que les systèmes deviennent capables d'accélérer leur propre développement, la pression pour renforcer les audits externes, la transparence des protocoles et le dialogue entre développeurs et chercheurs indépendants s'intensifie. La capacité de la société à anticiper les dérives technologiques dépendra désormais de la rigueur des évaluations tierces et de la volonté des industriels à ouvrir leurs processus aux vérifications publiques.