FrontierScience ist ein Datensatz zur Bewertung von Inferenz- und wissenschaftlichen Forschungsaufgaben, der von OpenAI im Jahr 2025 veröffentlicht wurde. Zugehörige Forschungsarbeiten werden in FrontierScience publiziert.Bewertung der Fähigkeit von KI, wissenschaftliche Aufgaben auf Expertenniveau auszuführenZiel ist es, die Leistungsfähigkeit großer Modelle bei wissenschaftlichen Denk- und Forschungsaufgaben auf Expertenniveau systematisch zu bewerten.

Dieser Datensatz verwendet einen Designmechanismus aus „Expertenerstellung + zweischichtiger Aufgabenstruktur + automatischem Bewertungsmechanismus“ und ist in zwei Teilmengen unterteilt, die zwei Arten von Fähigkeiten entsprechen: geschlossenes präzises Denken und offenes wissenschaftliches Denken.

• Der Olympiade-Datensatz wurde ursprünglich von Medaillengewinnern und Nationalmannschaftstrainern der Internationalen Physik-, Chemie- und Biologie-Olympiade entwickelt. Der Schwierigkeitsgrad der Aufgaben ist vergleichbar mit dem internationaler Spitzenwettbewerbe wie der IPhO, IChO und IBO. Er konzentriert sich auf Aufgaben zum logischen Denken mit kurzen Antworten und verlangt vom Modell die Ausgabe eines einzelnen numerischen Wertes, eines algebraischen Ausdrucks oder eines biologischen Begriffs, der unscharf zugeordnet werden kann, um die Überprüfbarkeit der Ergebnisse und die Stabilität der automatischen Auswertung zu gewährleisten.

• Der Forschungsdatensatz wurde von Doktoranden, Postdoktoranden, Professoren und anderen aktiven Forschern erstellt. Die Fragen simulieren Teilprobleme, die in der realen wissenschaftlichen Forschung auftreten können, und decken die drei Hauptbereiche Physik, Chemie und Biologie ab. Jede Frage wird mit einer detaillierten Bewertung von 10 Punkten versehen, um die Leistungsfähigkeit des Modells in mehreren Schlüsselaspekten zu beurteilen, darunter Modellannahmen, Argumentationswege und Zwischenergebnisse sowie die Korrektheit der Antwort.