Allen AI lance BenchMIRT pour auditer les benchmarks LLM

Allen AI a présenté BenchMIRT, un nouvel outil conçu pour auditer les benchmarks d’intelligence artificielle à l’échelle des prompts individuels. Conçu pour répondre à un problème récurrent en évaluation des grands modèles de langage, cet outil permet de disséquer les scores globaux et d’identifier les compétences réelles mesurées par les questions d’un test. BenchMIRT s’appuie sur la théorie de la réponse à l’item multidimensionnelle, une méthode psychométrique qui évalue non seulement la difficulté de chaque question, mais aussi la précision avec laquelle elles distinguent les modèles les plus performants sur différentes capacités. L’algorithme a été entraîné sur les résultats de 100 modèles testés sur 16 benchmarks couvrant plus de 34 000 questions. Sans indication préalable, le système a automatiquement identifié deux dimensions dominantes : la sécurité et le raisonnement général. Les résultats révèlent une complexité souvent masquée par les scores agrégés. Par exemple, le benchmark BBQ, initialement conçu pour évaluer les biais sociaux, montre une corrélation plus forte avec le raisonnement général qu’avec la sécurité. De même, le benchmark WMDP, qui teste la connaissance de technologies dangereuses, est davantage lié au raisonnement. Une meilleure capacité de raisonnement conduit les modèles à refuser les requêtes inappropriées, abaissant ainsi leur score final. D’autres tests, comme HarmBench, combinent différents signaux selon le type de question, mélangeant ainsi sécurité et compétences de raisonnement. Au-delà du diagnostic, BenchMIRT permet d’optimiser l’évaluation. En identifiant les questions les plus informatives, l’outil démontre que conserver seulement 10 à 50 % des prompts d’un benchmark préserve la quasi-totalité de sa capacité à classer les modèles. De plus, il peut prédire avec 79 % de précision comment un modèle répondra à une question jamais testée, réduisant ainsi la charge d’évaluation sans sacrifier la fiabilité. Les chercheurs soulignent certaines limites. BenchMIRT a été calibré sur des modèles publiés jusqu’en mars 2025, ce qui limite sa portée actuelle. De plus, les dimensions détectées dépendent de l’ensemble de benchmarks fourni à l’algorithme. Une transparence accrue des questions pourrait également, en théorie, permettre de concevoir des évaluations moins rigoureuses, un risque que les auteurs jugent acceptable face aux bénéfices d’une interprétation plus fine des performances. En offrant une vision granulaire du fonctionnement des tests d’évaluation, BenchMIRT marque une étape vers des benchmarks plus ciblés, plus courts et plus faciles à interpréter. En révélant exactement quelles questions influencent les scores, ces outils pourraient transformer la méthodologie d’évaluation des IA, la rendant plus efficace et plus fiable pour la recherche et le développement industriel.