OpenAI a récemment mené une évaluation approfondie des benchmarks de programmation utilisés pour mesurer les capacités de ses modèles d'intelligence artificielle. Initialement, l'entreprise avait identifié des lacunes de conception et des problèmes de contamination dans SWE-bench Verified, un référentiel d'évaluation très répandu, avant de conseiller à la communauté de migrer vers SWE-bench Pro. Ce second benchmark visait à mieux évaluer les capacités de codage autonome en proposant des tâches plus longues et plus réalistes, extraites directement de l'historique de modifications de projets open source. Un audit ultérieur mené par OpenAI a néanmoins démontré que près de trente pour cent des tâches de SWE-bench Pro comportent des défauts structurels majeurs. Pour établir ce bilan, OpenAI a mis en place un processus d'assurance qualité articulant une automatisation intelligente et une validation humaine. Un premier filtre algorithmique a repéré 286 tâches potentiellement défaillantes, qui ont ensuite été examinées en profondeur par des agents d'investigation spécialisés et par cinq ingénieurs logiciels experts. Bien que les deux approches aient globalement convergé, les inspecteurs humains ont systématiquement relevé un nombre plus élevé de problèmes cumulatifs, en particulier des tests unitaires à la couverture insuffisante. Ces irrégularités découlent principalement de la source même des données. Les exercices étant générés à partir de demandes de modification de code, les énoncés, les solutions validées et les scripts de test ne se recoupent que rarement de manière cohérente pour former des sujets d'évaluation isolés et objectifs. Face à ces constatations, OpenAI retire officiellement sa recommandation d'utiliser SWE-bench Pro. L'entreprise insiste sur le fait que des indicateurs de performance fiables sont essentiels pour calibrer ses décisions de déploiement et respecter les protocoles de sécurité, notamment au sein de son cadre d'évaluation des risques. Des données erronées pourraient en effet fausser l'estimation des capacités réelles des modèles et orienter incorrectement les stratégies de recherche. Pour remédier à ces limites, OpenAI appelle les acteurs du domaine à concevoir de nouveaux référentiels spécifiquement adaptés à l'évaluation des systèmes génératifs. Une telle démarche, associée à une supervision continue par des développeurs chevronnés, permettrait de maintenir un standard exigeant tout en garantissant que les résultats mesurés reflètent fidèlement les progrès et les limites techniques de l'intelligence artificielle.