Contrairement à la plupart des tâches d'ingénierie, la recherche scientifique est plus itérative, ouverte et incertaine. Son principal défi ne réside pas dans l'exécution du processus d'analyse lui-même, mais dans une série de jugements guidés par l'intuition scientifique ou le « goût de recherche » : par exemple, quelles questions les données peuvent-elles éclairer ? Quelles données doivent être incluses ? Quels estimateurs ou modèles choisir ? Les résultats du diagnostic infirment-ils l'hypothèse initiale ? Et à partir de quel niveau de preuve peut-on tirer une conclusion ?

GeneBench a été proposé dans ce contexte. Il ne vise pas à évaluer les capacités d'un seul algorithme, mais plutôt à déterminer si le modèle peut mener à bien un processus de raisonnement complet dans le cadre d'une véritable analyse scientifique.Cela inclut la compréhension des données, le contrôle de la qualité, la sélection des méthodes, la modélisation statistique, la correction des diagnostics et la décision finale – des capacités particulièrement cruciales dans les sciences de la vie modernes.

Sur cette base,L'équipe de recherche d'OpenAI a récemment publié une version mise à jour de GeneBench, GeneBench-Pro.Il couvre un éventail plus large de domaines industriels et académiques, ne se limitant plus à la génomique, mais s'étendant à des scénarios nécessitant une inférence statistique en plusieurs étapes, tels que la biologie moléculaire et quantitative, la pharmacogénomique, la biologie du cancer, la génomique microbienne et la recherche translationnelle clinique. Par rapport à GeneBench, GeneBench-Pro ajoute 29 questions, en supprime 3 et remanie en profondeur 54 des 100 questions restantes.

Sur les 129 questions, 82 ont été examinées par des experts externes du domaine. Leurs commentaires ont permis de modifier les indices et les données, ainsi que de reconstruire les questions dont la cible était indéterminée. Lors de l'évaluation complète des 129 questions, GPT-5.6 Sol a obtenu un taux de réussite de 28,71 % (TP3T) avec le niveau d'inférence le plus élevé, tandis que GPT-5.6 Sol Pro a atteint 31,51 % (TP3T) lors de l'exécution GPT Pro, dont les résultats sont présentés séparément. GPT-5.5 a obtenu 12,01 % (TP3T), GPT-5.4 8,91 % (TP3T) et le modèle de référence non-GPT le plus performant, Claude Opus 4.8, 16,01 % (TP3T).

Les résultats de recherche associés, intitulés « GeneBench-Pro : Évaluation du raisonnement statistique multi-étapes en génomique, biologie quantitative et biomédecine translationnelle », ont été publiés en prépublication sur bioRxiv.

Points saillants de la recherche :

* GeneBench-Pro est une mise à jour de la version précédente de GeneBench, introduisant des versions nettement plus difficiles des problèmes existants ainsi que des ensembles de problèmes provenant de domaines nouvellement ajoutés.

* GeneBench-Pro ne se limite plus à la génomique, mais s'est étendu à des scénarios nécessitant une inférence statistique en plusieurs étapes, tels que la biologie moléculaire et quantitative, la pharmacogénomique, la biologie du cancer, la génomique microbienne et la translation clinique.

* GeneBench-Pro introduit une étape d'examen scientifique externe : dans ce processus, la conception complète, la documentation pertinente et les spécifications analytiques de chaque question sont soumises à des experts externes du domaine pour vérifier leur authenticité et leur justification scientifique.

Adresse du document :
https://hyper.ai/papers/GeneBench-Pro
Les jeux de données pertinents sont disponibles en ligne :
https://hyper.ai/datasets/53157

GeneBench-Pro : Contient 129 questions couvrant 10 grands domaines.

GeneBench-Pro est un recueil de 129 questions couvrant 10 domaines principaux et 21 sous-domaines.Ce test permet de déterminer si un agent peut identifier et réaliser l'analyse quantitative nécessaire à partir d'un jeu de données potentiellement erroné, avec un minimum d'instructions, afin d'estimer l'estimateur cible (estimande). La figure ci-dessous illustre la couverture du domaine par la suite d'évaluation actuelle.

Chaque problème de GeneBench-Pro est présenté comme une tâche d'analyse scientifique indépendante.L'agent dispose d'un environnement de travail isolé comprenant une invite de commande minimale, des fichiers de données structurés et une pile Python scientifique standard. L'invite de commande se limite à la question/tâche scientifique et aux estimations cibles, sans préciser le processus analytique à effectuer. Ces fichiers de données sont conçus pour simuler, autant que possible, les données brutes obtenues par de véritables analystes à partir de systèmes expérimentaux ou cliniques, et non des jeux de données factices nettoyés.

Chaque problème comporte une série de nœuds de décision interdépendants ; un mauvais choix effectué à n'importe quelle étape se propagera donc en sens inverse, provoquant des erreurs dans les analyses ultérieures et empêchant finalement d'obtenir le résultat cible correct.

L'agent s'exécute dans un environnement sandbox réaliste, avec accès à des fichiers de données structurés et à des bibliothèques de calcul scientifique générales telles que numpy, pandas, scipy, scikit-learn, statsmodels, lifelines, matplotlib et seaborn. Il peut également utiliser des outils de bioinformatique génomique standard comme PLINK 2.0, pysnptools, bed-reader, bedtools et pysam.

Objectif principal de conception : L’agent obtient un minimum d’indices réalisables et des estimations explicites de la cible.

La difficulté à évaluer précisément les analyses scientifiques ouvertes tient au fait que les données réelles offrent souvent plusieurs options analytiques, toutes raisonnables. Par exemple, les seuils de contrôle qualité, les paramètres des modèles et les normes de présentation des résultats peuvent varier d'un analyste à l'autre, sans pour autant impliquer qu'une seule approche soit correcte. Si les résultats d'une évaluation comparative divergent parce qu'un analyste choisit un seuil ou une convention raisonnable mais différente, cette différence peut refléter uniquement le caractère arbitraire de la conception même de l'évaluation, et non la qualité du raisonnement scientifique.

Afin de garantir que l’« échec » représente véritablement une erreur scientifique plutôt qu’une dégradation naturelle,Les chercheurs ont utilisé un problème de simulation constructive dans GeneBench-Pro : c’est-à-dire que la structure causale complète est connue et que le processus de génération des données est explicitement simulé.

Les chercheurs quantifient les structures en cascade à l'aide du « nombre de points de décision » — des points de bifurcation clés dans le processus d'analyse où des choix raisonnables mais incorrects peuvent conduire à des changements qualitatifs dans les résultats ultérieurs.

En pratique, chaque problème est construit à partir d'un modèle analytique concret et d'un estimateur cible. Ces modèles analytiques concrets sont issus de la littérature et de l'expérience d'experts du domaine, dans le but de refléter des problèmes et des flux de travail scientifiques courants et à fort impact. Ils évitent délibérément la reproduction directe de cas standards tirés de manuels ou d'articles publiés afin d'empêcher le modèle de résoudre les problèmes par simple mémorisation.

Ensuite, des données sont générées par simulation afin de retrouver la réponse correcte à partir des données segmentées. Puis, un indice minimal est élaboré, contenant uniquement les informations nécessaires à l'identification de la réponse correcte.

Une fois la première version du problème finalisée, une validation à grande échelle sera menée. Pour les chemins qui « semblent raisonnables mais sont erronés » à différentes étapes du raisonnement, des expériences d'ablation seront utilisées afin de les examiner et de vérifier si leurs résultats sont suffisamment différents de la réponse correcte.

De plus, une évaluation scientifique indépendante sera menée afin d'évaluer la rationalité de la méthodologie, l'identifiabilité des objectifs et la validité scientifique.

Le tableau suivant récapitule les principales contraintes de base découlant de ces exigences de conception :

Exemple de question : Risque résiduel lié au dépistage des porteurs de la mutation DRX1

L'image ci-dessous illustre un problème GeneBench-Pro simulant un dépistage des porteurs d'une maladie génétique autosomique récessive. Dans ce contexte de dépistage synthétique, le gène responsable de la maladie est DRX1 : le risque de transmission à la descendance n'existe que si les deux parents biologiques sont porteurs d'un allèle DRX1 détectable.

L'agent reçoit des données brutes de dépistage des porteurs et doit estimer le risque résiduel de portage après un résultat de dépistage négatif et combiner ce risque résiduel avec la fréquence des porteurs dans la population de partenaires reproductifs potentiels.

La difficulté de ce problème réside dans le fait que la réponse ne peut pas être simplement estimée directement à partir du débit porteuse initial ; une analyse correcte doit effectuer plusieurs étapes d’inférence de manière séquentielle :

·  Premièrement, identifier les catégories de porteurs DRX1 à déclarer et distinguer les artefacts de variation du nombre de copies ;

·  Ensuite, le marqueur fondateur du modèle phasé est traité, et il est déterminé s'il doit être considéré comme un haplotype unique.

·  Ensuite, la sensibilité et le taux de faux positifs de la détection ont été estimés en fonction de différentes covariables ;

·  Ensuite, en fonction de la probabilité de non-détection de porteur pour chaque catégorie, le risque résiduel de porteur dans la condition d'un dépistage négatif est calculé ;

·  Enfin, la fréquence des porteurs partenaires doit être normalisée par rapport à la liste complète des partenaires, au lieu d'être limitée au sous-ensemble détecté.

Cet exemple illustre L'objectif principal de GeneBench-Pro est que l'agent obtienne un minimum d'indices réalisables et des estimations de cibles explicites.Toutefois, le succès dépend en fin de compte de sa capacité à reconstituer à partir des données l'intégralité du processus d'analyse quantitative en plusieurs étapes, plutôt que de simplement exécuter un processus prédéfini.

Résultats montrant : Amélioration significative des capacités, mais la « boucle de raisonnement » n'est pas encore pleinement établie.

Les chercheurs ont évalué GeneBench-Pro sur un ensemble complet de 129 questions, couvrant 60 configurations de modèles, dont GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Luna/Terra/Sol et leurs variantes GPT Pro correspondantes, ainsi que des modèles de référence non-GPT issus de Claude, Gemini, Grok, GLM, Kimi, DeepSeek, MiMo, Tencent, MiniMax et Qwen. La figure ci-dessous résume le taux de réussite non pondéré calculé question par question :

Dans l'ensemble,Le taux de réussite global du modèle reste faible :

·  Au niveau de force d'inférence le plus élevé rapporté pour chaque modèle principal GPT, le taux de réussite moyen non pondéré est passé de 4,9% pour GPT-5.2 (xhigh) à 8,9% pour GPT-5.4 (xhigh), 12,0% pour GPT-5.5 (xhigh), 16,5% pour GPT-5.6 Luna (max), 23,3% pour GPT-5.6 Terra (max) et 28,7% pour GPT-5.6 Sol (max).

·  Les résultats GPT Pro rapportés séparément sont les suivants : GPT-5.2 Pro 8.5%, GPT-5.4 Pro 16.3%, GPT-5.5 Pro 20.5%, GPT-5.6 Luna Pro 23.6%, GPT-5.6 Terra Pro 28.5% et GPT-5.6 Sol Pro 31.5%.

·  Les résultats pour les modèles non-GPT varient d'environ 0,6% à 16,0%, Claude Opus 4.8 étant le modèle de base non-GPT le plus performant.

·  Au sein de la série GPT, l'augmentation de la force d'inférence a un impact significatif : GPT-5.6 Sol est passé de 3,7% pour aucun à 14,4% pour faible, 22,5% pour moyen, 24,4% pour élevé, 26,8% pour très élevé et 28,7% pour maximum.

en même temps,D'importants problèmes restent non résolus.Dans le meilleur modèle GPT principal, la proportion de problèmes avec un taux de réussite de 0,1 TP3T a diminué, passant de 77,51 TP3T dans GPT-5.2 à 67,41 TP3T dans GPT-5.4, 64,31 TP3T dans GPT-5.5 et 45,71 TP3T dans GPT-5.6 Sol. Parallèlement, la proportion de problèmes avec un taux de réussite d'au moins 501 TP3T a augmenté, passant de 1,61 TP3T à 4,71 TP3T, 8,51 TP3T et 30,21 TP3T. Ainsi, même dans le modèle principal le plus performant, la base de données reste principalement composée de problèmes de haute difficulté, mais les modèles plus performants parviennent à faire passer davantage de problèmes d'un état d'échec total à un succès partiel ou stable.

Conclusion

La contribution majeure de GeneBench-Pro réside non seulement dans la création d'un nouveau référentiel biologique, mais aussi dans sa volonté de redéfinir l'évaluation des capacités des agents scientifiques. Les résultats expérimentaux montrent que les modèles les plus performants possèdent un certain degré de « capacité scientifique locale », comme l'identification d'anomalies dans les données, la compréhension des signaux statistiques ou l'exécution de procédures analytiques standard. Cependant, cette capacité n'a pas encore été étendue de manière stable à l'analyse scientifique de bout en bout ; un écart important subsiste entre « l'identification du problème » et « la mise en œuvre d'une solution ».

Du point de vue des applications, cette avancée présente un potentiel considérable. Dans les sciences de la vie modernes, le processus allant des données génétiques au criblage de cibles, et des signaux statistiques aux décisions translationnelles, repose fortement sur la collaboration d'équipes d'experts et s'avère coûteux. L'article souligne qu'un problème GeneBench-Pro prend généralement entre 10 et 40 heures à résoudre sans intervention humaine, ce qui signifie qu'une automatisation même partielle pourrait générer une valeur économique significative dans la recherche industrielle.

Cependant, les chercheurs soulignent également que le modèle actuel ne peut remplacer ce processus de manière fiable, car il ne permet pas de mener à bien l'intégralité du raisonnement. Les améliorations futures pourraient inclure des capacités de planification renforcées, des mécanismes d'autocorrection et des capacités de modélisation de l'incertitude.

Références :

https://www.biorxiv.org/content/10.64898/2026.06.29.735386v2