Alors que de nouvelles versions de modèles de langage d'intelligence artificielle (IA) sont lancées de plus en plus fréquemment, elles sont souvent accompagnées de revendications d'améliorations de performance. Cependant, prouver que ces nouveaux modèles sont réellement supérieurs aux précédents reste un défi coûteux et complexe pour le domaine. Pour vérifier la fiabilité des améliorations, les développeurs soumettent généralement les nouveaux modèles à une série de questions de référence, qui peuvent atteindre plusieurs centaines de milliers. Ces questions doivent être revues par des humains, ce qui ajoute du temps et des coûts au processus. Les contraintes pratiques empêchent les développeurs de poser toutes les questions à chaque modèle, ce qui peut conduire à une surestimation des progrès sur des questions moins difficiles. Des chercheurs de l'Université de Stanford ont introduit une méthode coût-efficace pour évaluer ces modèles dans un nouveau article publié à la Conférence internationale sur l'apprentissage automatique (ICML 2025). Cette recherche, menée par Sanmi Koyejo, professeur adjoint d'informatique à l'École d'ingénierie, et Sang Truong, doctorant au Laboratoire d'intelligence artificielle de Stanford (SAIL), propose une approche basée sur la Théorie de la Réponse par Item (IRT), un concept utilisé depuis des décennies dans l'éducation. L'IRT prend en compte la difficulté des questions lors de l'évaluation, similaire à la façon dont les tests standardisés comme le SAT fonctionnent, où chaque réponse correcte ou incorrecte influence la prochaine question. Koyejo et Truong ont utilisé des modèles de langage pour analyser et noter les questions en termes de difficulté, réduisant ainsi les coûts de l'évaluation de moitié, voire de plus de 80% dans certains cas. Cette notation permet de comparer de manière plus précise les performances relatives de deux modèles. Pour construire une banque de questions grande, diversifiée et bien calibrée de manière coût-efficace, les chercheurs ont exploité les capacités génératives de l'IA pour créer un générateur de questions pouvant être affiné à tout niveau de difficulté souhaité. Cela aide à automatiser le renouvellement des banques de questions et à éliminer les questions « contaminées » du système. Avec des questions mieux conçues, les auteurs affirment qu'il est possible d'effectuer des évaluations de performance plus précises avec un sous-ensemble beaucoup plus restreint de requêtes. Cette nouvelle méthode est plus rapide, plus juste et moins coûteuse. Elle s'applique également à divers domaines de connaissances, allant de la médecine et des mathématiques au droit. Koyejo a testé le système sur 22 jeux de données et 172 modèles de langage, constatant qu'il peut s'adapter facilement aux nouveaux modèles et questions. L'une des applications notables de cette approche a été la capacité à suivre les subtils changements de sécurité de GPT 3.5 au fil du temps, montrant une amélioration initiale suivie d'un recul dans plusieurs variantes testées en 2023. La sécurité des modèles de langage est une métrique importante qui mesure leur robustesse face à la manipulation des données, aux attaques adversaires, à l'exploitation et à d'autres risques. Autrefois, l'évaluation fiable des modèles de langage était un projet coûteux et incohérent, mais la nouvelle approche basée sur l'IRT rend les évaluations rigoureuses, évolutives et adaptatives plus accessibles. Pour les développeurs, cela signifie des diagnostics améliorés et des évaluations de performance plus précises. Pour les utilisateurs, cela signifie des évaluations plus justes et transparentes. Selon Koyejo, « pour tout le monde », cela signifie des progrès plus rapides et une confiance accrue dans les outils d'IA rapidement en évolution. Informations contextuelles Les chercheurs de Stanford, reconnus pour leurs contributions majeures dans le domaine de l'IA, ont mis en œuvre une solution innovante qui pourrait transformer la façon dont les modèles de langage sont évalués. La Théorie de la Réponse par Item (IRT) est une technique éprouvée, largement utilisée dans l'éducation pour ajuster la difficulté des questions et garantir l'équité des évaluations. En l'appliquant à l'évaluation des modèles de langage, Koyejo et Truong ont réussi à réduire considérablement les coûts tout en améliorant la précision des tests. Cette avancée est particulièrement significative car elle permet aux développeurs de modèles de langage de diagnostiquer plus efficacement les faiblesses de leurs systèmes et de mieux comprendre leurs performances réelles, contribuant ainsi à une confiance accrue chez les utilisateurs finaux.