HLE signifie Humanity's Last Exam (Le Dernier Examen de l'Humanité), un ensemble de données de référence sur les problèmes humains multimodaux, publié conjointement par le Center for AI Safety et Scale AI en 2025. Les résultats de l'étude correspondante sont les suivants :Le dernier examen de l'humanité", vise à construire le système d'évaluation fermé ultime couvrant les frontières de la connaissance humaine.

L'ensemble de données contient 2 500 questions couvrant des dizaines de sujets tels que les mathématiques, les sciences humaines et les sciences naturelles, y compris des questions à choix multiples et des questions à réponse courte adaptées à la notation automatique.

Répartition des sujets :

• Mathématiques (41%) :Problèmes abstraits tels que les mathématiques avancées, la théorie des probabilités et la conception d'algorithmes.

• Informatique/Intelligence artificielle (10%) :Théorie de l'apprentissage automatique, complexité computationnelle, traitement du langage naturel.

• Sciences naturelles (27%) :Physique (9%), Chimie (7%), Biologie/Médecine (11%), impliquant la physique quantique, la synthèse organique, les mécanismes pathologiques, etc.

• Sciences humaines/Sciences sociales (9%) :Questions d'analyse critique en philosophie, histoire, économie et sociologie.

• Ingénierie (4%) et autres disciplines (9%) :Couvre la conception technique, l'histoire de l'art et les questions interdisciplinaires de pointe.

Répartition des disciplines