L'évaluation de l'intelligence artificielle est désormais confrontée à un goulot d'étranglement de calcul majeur, dépassant les coûts de l'entraînement pour de nombreuses tâches. Ce changement d'échelle transforme l'économie du développement des modèles et limite l'accès à la recherche indépendante. Le Holistic Agent Leaderboard (HAL) a récemment dépensé environ 40 000 dollars pour exécuter près de 22 000 scénarios d'agents sur neuf modèles, illustrant la volatilité des coûts qui peuvent varier de trois à quatre ordres de grandeur selon le contexte et la configuration. Le problème des coûts d'évaluation remonte aux benchmarks statiques classiques. Il y a quelques années, des projets comme HELM ont révélé que l'évaluation de modèles ouverts pouvait coûter des milliers d'heures GPU. Cependant, des techniques de compression ont permis de réduire drastiquement ces frais, comme le montre l'étude Flash-HELM qui a maintenu la fidélité des classements tout en réduisant la charge de calcul de 100 à 200 fois. Ces méthodes consistaient à échantillonner agressivement les tâches statiques, car les différences entre modèles se concentrent souvent sur un sous-ensemble d'exemples. Cette stratégie de compression échoue considérablement avec l'avènement des agents autonomes et des benchmarks intégrés à l'entraînement. Contrairement aux tâches statiques, les agents effectuent des boucles de décision multi-étapes où le choix de l'infrastructure ("scaffold") multiplie les coûts et la variance des résultats. Une même tâche peut voir son prix fluctuer de 33 fois selon la configuration, sans que le résultat final n'améliore systématiquement les performances. Dans des domaines comme le machine learning scientifique, des projets comme The Well exigent des centaines d'heures GPU pour valider une seule architecture, inversant la hiérarchie traditionnelle où l'évaluation était moins coûteuse que l'entraînement. La fiabilité statistique ajoute une couche de complexité financière supplémentaire. Pour obtenir des résultats robustes, les chercheurs doivent répéter les tests plusieurs fois, multipliant par huit ou plus le budget initial. Une évaluation fiable sur HAL pourrait ainsi coûter 320 000 dollars. Cette réalité crée une barrière d'entrée significative : les groupes universitaires et les instituts de sécurité sont désormais exclus de l'évaluation sérieuse des modèles de pointe, laissant ce pouvoir aux seuls laboratoires disposant de budgets colossaux. Les tableaux de classement actuels, souvent aveugles aux coûts, encouragent inefficacement la dépense de ressources pour des gains de performance marginaux. La communauté scientifique doit impérativement adopter une documentation standardisée et le partage des données d'évaluation. Des initiatives comme la coalition EvalEval proposent des formats communs pour que les traces d'exécution soient réutilisables, permettant d'économiser des millions de dollars en évitant les répétitions inutiles. En conclusion, l'évaluation a ses propres contraintes économiques et techniques. Si les méthodes de compression fonctionnent pour les benchmarks statiques, elles sont inefficaces pour les agents et les systèmes en boucle d'entraînement. La transparence sur les coûts et le partage des résultats sont les seuls leviers viables pour maintenir une évaluation indépendante et fiable dans un paysage où la fiabilité devient plus chère à mesurer que la capacité pure.