HyperAIHyperAI

Command Palette

Search for a command to run...

OpenAI publie LifeSciBench : évaluer les capacités de la recherche en sciences de la vie par l’IA

LifeSciBench est une nouvelle plateforme d'évaluation conçue pour mesurer la capacité des systèmes d'intelligence artificielle à accompagner la recherche en sciences de la vie. Contrairement aux benchmarks existants, souvent limités à des questions à réponse unique ou à des prédictions simplifiées, LifeSciBench reproduit la complexité du travail scientifique réel. Il repose sur 750 tâches expertes couvrant sept domaines biologiques et sept workflows clés, tels que le traitement des preuves, la conception expérimentale, la communication scientifique et la traduction des résultats vers des applications cliniques. Chaque tâche est rédigée et validée par 173 scientifiques titulaires d'un doctorat, expérimentés dans l'industrie biopharmaceutique. La méthodologie intègre des consignes libres, des incertitudes inhérentes à la recherche et l'analyse de documents annexes comme des figures, des tableaux ou des fichiers génomiques. Pour éviter les réponses génériques, l'évaluation utilise des grilles de notation granulaires comptant plus de 19 000 critères par tâche, permettant de récompenser les raisonnements partiellement corrects et l'utilité opérationnelle. Une validation indépendante menée par 453 experts a confirmé la pertinence et le réalisme du benchmark. Les tests ont porté sur les modèles de pointe GPT-5.5 et GPT-Rosalind. Ce dernier affiche une progression notable, avec un taux de réussite global passant de 25,7 % à 36,1 %. Les modèles y montrent leurs forces dans la synthèse scientifique et la communication, ainsi que dans la traduction des données précliniques vers les implications cliniques. En revanche, les performances restent limitées lorsqu'il s'agit d'interpréter des données complexes, de concevoir des protocoles expérimentaux ou de générer des séquences exactes. Une analyse fine révèle que les modèles parviennent souvent à identifier des éléments pertinents mais échouent sur les contraintes finales, les calculs précis ou la prise en compte des limites biologiques. LifeSciBench marque une étape vers une mesure plus réaliste de l'utilité des IA en laboratoire, mais il ne remplace pas l'expérimentation en conditions réelles. Les scientifiques rappellent que la recherche est un processus itératif et que les benchmarks ne captent pas la dynamique complète des programmes de R&D. Les prochaines étapes consisteront à déployer ces modèles dans des environnements de recherche actifs afin d'évaluer concrètement leur capacité à accélérer la découverte scientifique et à améliorer les résultats translationnels sur le long terme.

Liens associés

OpenAI publie LifeSciBench : évaluer les capacités de la recherche en sciences de la vie par l’IA | Articles tendance | HyperAI