L'ensemble de données de l'UQ est un référentiel d'évaluation publié en 2025 par l'Université Stanford, l'Université de Washington, l'Université de Caroline du Nord et d'autres institutions. Les résultats de l'étude sont les suivants :UQ : Évaluation des modèles linguistiques sur des questions non résolues", qui vise à évaluer le raisonnement, la factualité et les capacités de navigation de grands modèles de pointe en utilisant des « problèmes » réels et difficiles auxquels la société humaine n'a pas répondu.

L'ensemble de données comprend 500 questions sans réponse de longue date issues de la plateforme Stack Exchange, couvrant des sujets tels que la théorie informatique, les mathématiques, la science-fiction et l'histoire. Il adopte un pipeline de collecte « filtrage de règles + révision LLM + révision manuelle » et est équipé de validateurs UQ pour la présélection automatique et l'évaluation communautaire des réponses des candidats. Ses caractéristiques sont : une évaluation difficile mais réaliste, asynchrone et une séparation génération-vérification. Il est adapté à des scénarios tels que l'évaluation par raisonnement/récupération de modèles de pointe, le suivi des progrès à long terme et les classements publics.

Distribution des données :

• Sciences : 395
• Technologie : 52
• Culture et loisirs : 16
• Vie et Arts : 35