Moritz Hardt plaide pour une science des benchmarks IA

Dans un entretien récent, Moritz Hardt, directeur à l’Institut Max Planck des systèmes intelligents, explique que les benchmarks de l’intelligence artificielle ont transformé le domaine en compétition permanente, mais que leur logique s’est fragilisée. Dès 1987, un test de l’agence américaine de défense sur la transcription automatique avait montré la faiblesse de certaines approches en IA, contribuant à un hiver de la recherche. En 2012, le benchmark ImageNet a relancé l’activité en validant l’efficacité des réseaux neuronaux profonds. Aujourd’hui, les épreuves censées mesurer les performances des grands modèles de langage sont créées et surpassées à un rythme soutenu, jusqu’à influencer les choix techniques et les investissements. Hardt estime que ces classements ne doivent plus être pris comme des mesures scientifiques absolues. Le problème vient surtout de la séparation mal appliquée entre données d’entraînement et données de test. Dans l’idéal, l’ensemble de test doit rester inaccessible pendant le développement, afin de garantir une comparaison équitable. En pratique, plusieurs jeux de données sont diffusés en ligne, puis réutilisés par les ingénieurs pour améliorer leurs modèles, ce qui revient en partie à réviser à l’avance l’examen final. Un modèle peut ainsi obtenir des scores très variables selon de légères modifications du test, tout en paraissant très performant. Cette faille était longtemps masquée par un effet inattendu : les classements restaient souvent stables, même lorsque les scores bruts perdaient de leur fiabilité. Si un système dépassait un autre sur un benchmark, il conservait fréquemment son avantage sur des données différentes. Hardt juge que cette stabilité relevait d’une chance empirique plutôt que d’une théorie solide. Elle dépendait aussi d’une condition devenue rare : les concurrents s’entraînaient sur des jeux de données comparables. Avec les grands modèles de langage, les concepteurs peuvent désormais assembler discrètement des mélanges de données favorables, ce qui affaiblit la comparaison. Les performances élevées sur d’anciens tests peuvent simplement signaler un entraînement postérieur visant à maximiser ces scores. Hardt ne demande pas d’interdire cette optimisation. Il propose plutôt d’harmoniser la préparation des modèles avant l’évaluation, une forme d’entraînement en altitude appliqué à l’IA. L’objectif ne serait plus de proclamer une intelligence absolue, mais de comparer plus équitablement des systèmes préparés selon une même méthode. Le chercheur souligne cependant que les benchmarks, même corrigés, ne révèlent pas nécessairement le fonctionnement interne des modèles. Ils restent utiles comme indicateurs de progrès, parfois capables d’ouvrir de nouvelles connaissances, mais ils ne remplacent pas une compréhension scientifique des mécanismes.