Fan Nie Ken Ziyu Liu Zihao Wang Rui Sun Wei Liu Weijia Shi et al

Résumé

Les benchmarks façonnent l’évolution de la recherche en intelligence artificielle. Un benchmark utile doit être à la fois difficile et réaliste : les questions doivent défier les modèles de pointe tout en reflétant des usages concrets du monde réel. Or, les paradigmes actuels sont confrontés à un dilemme entre difficulté et réalisme : les benchmarks de type examen sont souvent artificiellement difficiles et ont une valeur limitée dans le monde réel, tandis que les benchmarks fondés sur des interactions réelles des utilisateurs tendent à privilégier des problèmes faciles et fréquents. Dans ce travail, nous explorons un paradigme radicalement différent : évaluer les modèles sur des questions non résolues. Contrairement à un benchmark statique évalué une seule fois, nous constituons une collection de questions non résolues et évaluons les modèles de manière asynchrone dans le temps, grâce à un filtrage assisté par validateurs et une vérification communautaire. Nous introduisons UQ, un environnement expérimental comprenant 500 questions exigeantes et diversifiées extraites de Stack Exchange, couvrant des domaines allant de la théorie informatique et des mathématiques à la science-fiction et l’histoire, et visant à évaluer des capacités telles que le raisonnement, la fidélité factuelle et la navigation d’information. UQ est difficile et réaliste par construction : les questions non résolues sont souvent complexes et émergent naturellement lorsque les humains cherchent des réponses, aussi la résolution de ces questions apporte une valeur directe et concrète dans le monde réel. Nos contributions sont triples : (1) le dataset UQ et son pipeline de collecte combinant des filtres basés sur des règles, des juges basés sur des LLM et une revue humaine, afin d’assurer la qualité des questions (par exemple, bien définies et difficiles) ; (2) UQ-Validators, des stratégies de validation combinées qui exploitent l’écart entre générateur et validateur pour fournir des signaux d’évaluation et pré-sélectionner les solutions candidates pour une revue humaine ; (3) UQ-Platform, une plateforme ouverte permettant à des experts de vérifier collectivement les questions et leurs solutions. Le modèle de pointe réussit l’évaluation UQ sur seulement 15 % des questions, et une vérification humaine préliminaire a déjà permis d’identifier des réponses correctes parmi celles qui ont passé le test. UQ ouvre une voie pour évaluer les modèles de pointe sur des défis réels et ouverts, où le succès contribue à repousser les frontières des connaissances humaines.