FrontierScience est un ensemble de données destiné à l'évaluation des tâches d'inférence et de recherche scientifique, publié par OpenAI en 2025. Les articles connexes sont publiés dans FrontierScience.évaluer la capacité de l'IA à effectuer des tâches scientifiques de niveau expertL'objectif est d'évaluer systématiquement les capacités des grands modèles dans le raisonnement scientifique de niveau expert et les sous-tâches de recherche.

Cet ensemble de données utilise un mécanisme de conception de « création d'experts + structure de tâches à deux niveaux + mécanisme de notation automatique » et est divisé en deux sous-ensembles, correspondant à deux types de capacités : raisonnement précis fermé et raisonnement de recherche scientifique ouvert.

• Le jeu de données des Olympiades a été conçu à l'origine par des médaillés et des entraîneurs d'équipes nationales des Olympiades internationales de physique, de chimie et de biologie. La difficulté des questions est comparable à celle des compétitions internationales de haut niveau telles que l'IPhO, l'IChO et l'IBO. Il se concentre sur des tâches de raisonnement à réponse courte et exige du modèle qu'il produise une valeur numérique unique, une expression algébrique ou un terme biologique pouvant faire l'objet d'une correspondance approximative, afin de garantir la vérifiabilité des résultats et la stabilité de l'évaluation automatique.

• Le jeu de données de recherche est élaboré par des doctorants, des postdoctorants, des professeurs et d'autres chercheurs actifs. Les questions simulent des sous-problèmes susceptibles d'être rencontrés dans la recherche scientifique réelle, couvrant les trois grands domaines que sont la physique, la chimie et la biologie. Chaque question est accompagnée d'une note détaillée sur 10 points permettant d'évaluer la performance du modèle sur plusieurs aspects clés, notamment les hypothèses de modélisation, les démarches de raisonnement et les conclusions intermédiaires, en plus de l'exactitude de la réponse.