Im Gegensatz zu den meisten Ingenieuraufgaben ist die wissenschaftliche Forschung iterativer, offener und mit Unsicherheit behaftet. Ihre zentrale Herausforderung liegt nicht in der Durchführung des Analyseprozesses selbst, sondern in einer Reihe von Entscheidungen, die von wissenschaftlicher Intuition oder „Forschungspräferenz“ geleitet werden: beispielsweise welche Fragen die Daten beantworten können, welche Daten einbezogen werden sollten, welche Schätzmethoden oder Modelle gewählt werden sollten, ob die Diagnoseergebnisse die ursprüngliche Hypothese widerlegen und auf welcher Grundlage eine Schlussfolgerung gezogen werden kann.

GeneBench wurde vor diesem Hintergrund entwickelt. Es versucht nicht die Fähigkeiten eines einzelnen Algorithmus zu bewerten, sondern vielmehr, ob ein Modell in einem realen wissenschaftlichen Analyseprozess einen vollständigen „Schlussfolgerungszyklus“ durchlaufen kann.Dies umfasst Datenverständnis, Qualitätskontrolle, Methodenauswahl, statistische Modellierung, diagnostische Korrektur und die abschließende Entscheidungsfindung – Fähigkeiten, die in den modernen Lebenswissenschaften von besonderer Bedeutung sind.

Auf dieser GrundlageDas OpenAI-Forschungsteam hat kürzlich eine aktualisierte Version von GeneBench, GeneBench-Pro, veröffentlicht.Es deckt ein breiteres Spektrum an Industrie- und Forschungsbereichen ab und beschränkt sich nicht mehr auf die Genomik, sondern erstreckt sich auch auf Szenarien, die mehrstufige statistische Inferenz erfordern, wie etwa Molekular- und quantitative Biologie, Pharmakogenomik, Krebsbiologie, mikrobielle Genomik und klinische Translation. Im Vergleich zu GeneBench fügt GeneBench-Pro 29 Fragen hinzu, entfernt 3 Fragen und überarbeitet 54 der verbleibenden 100 sich überschneidenden Fragen grundlegend.

Von den 129 Fragen wurden 82 von externen Fachexperten geprüft. Deren Feedback führte zu Anpassungen der Hinweise und Daten sowie zur Überarbeitung von Fragen, bei denen das Ziel nicht identifizierbar war. In der vollständigen Evaluierung aller 129 Fragen erreichte GPT-5.6 Sol bei höchster Inferenzstärke eine Erfolgsquote von 28,71 TP3T, während GPT-5.6 Sol Pro im separat berichteten GPT-Pro-Lauf 31,51 TP3T erzielte. GPT-5.5 erreichte 12,01 TP3T, GPT-5.4 8,91 TP3T und das leistungsstärkste Nicht-GPT-Basismodell, Claude Opus 4.8, 16,01 TP3T.

Die zugehörigen Forschungsergebnisse mit dem Titel „GeneBench-Pro: Evaluating Multistage Statistical Reasoning in Genomics, Quantitative Biology, and Translational Biomedicine“ wurden als Preprint auf bioRxiv veröffentlicht.

Forschungshighlights:

* GeneBench-Pro ist ein Update des zuvor veröffentlichten GeneBench und führt deutlich schwierigere Versionen bestehender Aufgaben sowie Aufgabensätze aus neu hinzugefügten Bereichen ein.

* GeneBench-Pro beschränkt sich nicht mehr nur auf die Genomik, sondern wurde auf Szenarien ausgeweitet, die mehrstufige statistische Schlussfolgerungen erfordern, wie etwa die molekulare und quantitative Biologie, die Pharmakogenomik, die Krebsbiologie, die mikrobielle Genomik und die klinische Translation.

* GeneBench-Pro führt einen externen wissenschaftlichen Überprüfungsschritt ein: Dabei werden das vollständige Design, die relevante Dokumentation und die analytischen Spezifikationen für jede Fragestellung externen Fachexperten vorgelegt, um deren Authentizität und wissenschaftliche Begründung zu überprüfen.

Papieradresse:
https://hyper.ai/papers/GeneBench-Pro
Die relevanten Datensätze sind online verfügbar:
https://hyper.ai/datasets/53157

GeneBench-Pro: Enthält 129 Fragen, die 10 Hauptbereiche abdecken.

GeneBench-Pro ist eine Sammlung von 129 Fragen, die 10 Hauptdomänen und 21 Unterdomänen abdecken.Dies dient der Messung, ob ein Agent mit minimaler Anleitung in der Lage ist, die notwendige quantitative Analyse eines potenziell fehlerhaften Datensatzes durchzuführen und so den Zielschätzer (Estimand) zu bestimmen. Die folgende Abbildung zeigt die Domänenabdeckung der aktuellen Evaluierungssuite.

Jedes Problem in GeneBench-Pro ist als eigenständige wissenschaftliche Analyseaufgabe konzipiert.Dem Agenten wird eine isolierte Arbeitsumgebung bereitgestellt, die eine minimale, funktionsfähige Eingabeaufforderung, phasenweise aufbereitete Datendateien und einen standardmäßigen wissenschaftlichen Python-Stack enthält. Die Eingabeaufforderung liefert lediglich die wissenschaftliche Fragestellung/Aufgabe und die Zielwerte, legt aber den durchzuführenden Analyseprozess nicht explizit fest. Diese Datendateien sind so konzipiert, dass sie die von realen Analysten aus experimentellen oder klinischen Systemen gewonnenen Rohdaten möglichst genau simulieren und keine aufbereiteten Beispieldatensätze darstellen.

Jedes Problem enthält eine Reihe voneinander abhängiger Entscheidungsknoten, sodass sich eine falsche Wahl in einer beliebigen Phase rückwärts auswirkt, Fehler in der nachfolgenden Analyse verursacht und letztendlich dazu führt, dass das gewünschte Ergebnis nicht erreicht wird.

Der Agent läuft in einer realistischen Sandbox-Umgebung und hat Zugriff auf phasenweise Datensätze sowie auf gängige wissenschaftliche Rechenbibliotheken wie NumPy, Pandas, SciPy, Scikit-learn, Statsmodels, Lifelines, Matplotlib und Seaborn. Er kann außerdem Standardwerkzeuge der Genom-Bioinformatik wie PLINK 2.0, PySNP-Tools, BedReader, BedTools und PySAM nutzen.

Kernziel des Designs: Der Agent erhält minimale zulässige Hinweise und explizite Zielschätzungen.

Die Schwierigkeit, offene wissenschaftliche Analysen präzise zu vergleichen, liegt darin begründet, dass reale Daten oft mehrere, durchaus sinnvolle Analysemöglichkeiten zulassen. So können beispielsweise Qualitätskontrollschwellenwerte, Modellparameter und Berichtsstandards je nach Analyst variieren. Diese Unterschiede bedeuten jedoch nicht, dass nur ein Ansatz korrekt ist. Weichen die Ergebnisse eines Vergleichs ab, weil ein Akteur einen zwar sinnvollen, aber anderen Grenzwert oder eine andere Konvention wählt, spiegelt dieser Unterschied möglicherweise lediglich die Willkür des Vergleichsdesigns selbst wider, nicht aber die Qualität der wissenschaftlichen Argumentation.

Um sicherzustellen, dass „Scheitern“ tatsächlich einen wissenschaftlichen Fehler und nicht einen natürlichen Zerfall darstellt,Die Forscher verwendeten ein konstruktives Simulationsproblem in GeneBench-Pro: Das heißt, die vollständige Kausalstruktur ist bekannt, und der Datengenerierungsprozess wird explizit simuliert.

Forscher quantifizieren kaskadierende Strukturen mithilfe der „Anzahl der Entscheidungspunkte“ – wichtige Verzweigungspunkte im Analyseprozess, an denen vernünftige, aber falsche Entscheidungen zu qualitativen Veränderungen der nachfolgenden Ergebnisse führen können.

In der Praxis wird jedes Problem anhand eines realen analytischen Modells und eines Zielschätzers aufgebaut. Diese realen analytischen Modelle basieren auf der Fachliteratur und der Erfahrung von Experten und zielen darauf ab, gängige und wirkungsvolle wissenschaftliche Probleme und Arbeitsabläufe abzubilden. Dabei wird bewusst auf die direkte Reproduktion von Standardfällen aus Lehrbüchern oder veröffentlichten Artikeln verzichtet, um zu verhindern, dass das Modell Probleme durch Auswendiglernen löst.

Anschließend werden durch Simulation Daten generiert, um die korrekte Antwort aus den phasenbasierten Daten zu ermitteln. Im nächsten Schritt wird ein minimaler Hinweis erstellt, der nur die minimal notwendigen Informationen zur Identifizierung der korrekten Antwort enthält.

Nach Fertigstellung des ersten Problementwurfs erfolgt eine umfangreiche Validierung. Für Lösungswege, die zwar plausibel erscheinen, aber in verschiedenen Phasen des Denkprozesses falsch sind, werden Ablationsversuche durchgeführt, um zu überprüfen, ob sich ihre Ergebnisse ausreichend vom korrekten Ergebnis unterscheiden.

Darüber hinaus wird eine unabhängige wissenschaftliche Überprüfung durchgeführt, um die Rationalität der Methodik, die Identifizierbarkeit der Ziele und die wissenschaftliche Validität zu beurteilen.

Die folgende Tabelle fasst die wichtigsten, aus diesen Designanforderungen abgeleiteten Basisbeschränkungen zusammen:

Beispielfrage: Restrisiko beim DRX1-Trägerscreening

Die Abbildung unten veranschaulicht ein GeneBench-Pro-Problem, das ein Träger-Screening-Szenario für eine autosomal-rezessive Erbkrankheit simuliert. In diesem synthetischen Screening-Szenario ist DRX1 das krankheitsverursachende Gen: Ein reproduktives Risiko für die Nachkommen besteht nur dann, wenn beide biologischen Eltern ein meldepflichtiges DRX1-Allel tragen.

Dem Agenten werden Rohdaten aus dem Trägerscreening zur Verfügung gestellt. Er muss das verbleibende Trägerrisiko nach einem negativen Screening-Ergebnis schätzen und dieses Restrisiko mit der Trägerhäufigkeit in der Population potenzieller Reproduktionspartner kombinieren.

Die Schwierigkeit dieses Problems liegt darin, dass die Antwort nicht einfach direkt aus der ursprünglichen Trägerrate geschätzt werden kann; eine korrekte Analyse muss mehrere Schlussfolgerungsschritte nacheinander durchführen:

·  Zunächst müssen meldepflichtige DRX1-Trägerkategorien identifiziert und Artefakte der Kopienzahlvariation unterschieden werden;

·  Anschließend wird der Gründermarker des Phasenmodells verarbeitet und es wird ermittelt, ob er als ein einzelner Haplotyp betrachtet werden soll.

·  Anschließend wurden die Sensitivität und die Falsch-Positiv-Rate der Erkennung auf Basis verschiedener Kovariaten geschätzt;

·  Anschließend wird auf Basis der Wahrscheinlichkeit, dass in jeder Kategorie kein Träger entdeckt wird, das Restträgerrisiko unter der Bedingung eines negativen Screenings berechnet.

·  Schließlich muss die Häufigkeit der Partnerüberträger auf die vollständige Liste der Partner standardisiert werden, anstatt sich auf die erkannte Teilmenge zu beschränken.

Dieses Beispiel veranschaulicht Das zentrale Designziel von GeneBench-Pro ist es, dass der Agent minimale realisierbare Hinweise und explizite Zielschätzungen erhält.Der Erfolg hängt jedoch letztendlich davon ab, ob es gelingt, den gesamten mehrstufigen quantitativen Analyseprozess aus den Daten zu rekonstruieren, anstatt lediglich einen vordefinierten Prozess auszuführen.

Ergebnisse zeigen: Deutliche Verbesserung der Fähigkeiten, aber die „Schlussfolgerungsschleife“ ist noch nicht vollständig etabliert.

Forscher evaluierten GeneBench-Pro anhand eines vollständigen Fragenkatalogs mit 129 Fragen, der 60 Modellkonfigurationen abdeckte. Dazu gehörten GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Luna/Terra/Sol und deren entsprechende GPT-Pro-Varianten sowie Nicht-GPT-Basismodelle von Claude, Gemini, Grok, GLM, Kimi, DeepSeek, MiMo, Tencent, MiniMax und Qwen. Die folgende Abbildung fasst die ungewichtete Erfolgsquote, berechnet für jede Frage, zusammen:

Gesamt,Die Gesamterfolgsquote des Modells bleibt niedrig:

·  Bei der höchsten gemeldeten Inferenzstärke jedes GPT-Hauptmodells stieg die ungewichtete durchschnittliche Erfolgsrate von 4,9% für GPT-5.2 (xhigh) auf 8,9% für GPT-5.4 (xhigh), 12,0% für GPT-5.5 (xhigh), 16,5% für GPT-5.6 Luna (max), 23,3% für GPT-5.6 Terra (max) und 28,7% für GPT-5.6 Sol (max).

·  Die separat gemeldeten Ergebnisse der GPT Pro-Tests lauten wie folgt: GPT-5.2 Pro 8.5%, GPT-5.4 Pro 16.3%, GPT-5.5 Pro 20.5%, GPT-5.6 Luna Pro 23.6%, GPT-5.6 Terra Pro 28.5% und GPT-5.6 Sol Pro 31.5%.

·  Die Ergebnisse für Nicht-GPT-Modelle reichen von etwa 0,6% bis 16,0%, wobei Claude Opus 4.8 das stärkste Nicht-GPT-Basismodell ist.

·  Innerhalb der GPT-Serie hat eine Erhöhung der Inferenzstärke einen signifikanten Einfluss: GPT-5.6 Sol ist von 3,7% für keine auf 14,4% für niedrig, 22,5% für mittel, 24,4% für hoch, 26,8% für xhoch und 28,7% für maximal angestiegen.

gleichzeitig,Es bleiben weiterhin bedeutende ungelöste Probleme.Im besten GPT-Mainline-Modell sank der Anteil der Aufgaben mit einer Bestehensquote von 0,% von 77,5% in GPT-5.2 auf 67,4% in GPT-5.4, 64,3% in GPT-5.5 und 45,7% in GPT-5.6 Sol; gleichzeitig stieg der Anteil der Aufgaben mit einer Bestehensquote von mindestens 50% von 1,6% auf 4,7%, 8,5% und 30,2%. Somit besteht die Basislinie selbst im leistungsstärksten Mainline-Modell weiterhin hauptsächlich aus Aufgaben mit hohem Schwierigkeitsgrad. Leistungsstärkere Modelle können jedoch mehr Aufgaben vom Zustand des vollständigen Scheiterns in den Zustand des Teilerfolgs oder des stabilen Erfolgs überführen.

Abschluss

Der Kernbeitrag von GeneBench-Pro liegt nicht nur in der Entwicklung eines neuen biologischen Benchmarks, sondern auch im Versuch, die Bewertung der Fähigkeiten wissenschaftlicher Agenten neu zu definieren. Experimentelle Ergebnisse zeigen, dass aktuelle Modelle über ein gewisses Maß an lokaler wissenschaftlicher Kompetenz verfügen, beispielsweise in der Identifizierung von Datenanomalien, dem Verständnis statistischer Signale oder der Durchführung gängiger Analyseverfahren. Diese Kompetenz konnte jedoch noch nicht stabil auf die gesamte wissenschaftliche Analyse ausgeweitet werden; es besteht weiterhin eine erhebliche Lücke zwischen der Problemerkennung und dem Ergreifen von Maßnahmen.

Aus anwendungstechnischer Sicht birgt dieser Durchbruch ein erhebliches Potenzial. In den modernen Lebenswissenschaften ist der Prozess von Gendaten über das Target-Screening und statistische Signale bis hin zu translationalen Entscheidungen stark von der Zusammenarbeit von Expertenteams abhängig und mit hohen Kosten verbunden. Die Studie zeigt auf, dass die Bearbeitung eines GeneBench-Pro-Problems ohne menschliche Unterstützung typischerweise 10 bis 40 Stunden dauert. Dies bedeutet, dass selbst eine Teilautomatisierung in der industriellen Forschung einen erheblichen wirtschaftlichen Nutzen generieren könnte.

Die Forscher betonen jedoch auch, dass das aktuelle Modell diesen Prozess nicht zuverlässig ersetzen kann, da es die gesamte Argumentationskette nicht durchgängig abbilden kann. Zukünftige Verbesserungen könnten leistungsfähigere Planungsfunktionen, Selbstkorrekturmechanismen und die Modellierung von Unsicherheiten umfassen.

Quellen:

https://www.biorxiv.org/content/10.64898/2026.06.29.735386v2