Il existe un optimisme généralisé quant au fait que les modèles de langage à grande échelle (LLM) de pointe et les systèmes améliorés par LLM ont le potentiel d’accélérer rapidement la découverte scientifique dans un large éventail de disciplines. Aujourd’hui, il existe de nombreux critères de référence qui mesurent les connaissances et la capacité de raisonnement des LLM sur les problèmes scientifiques des manuels, mais peu de critères de référence sont utilisés pour évaluer les performances des modèles linguistiques sur les tâches pratiques requises pour la recherche scientifique, telles que la recherche documentaire, la planification de protocoles et l’analyse de données.

Comme première étape dans l'établissement d'une telle référence, l'équipe de recherche de FutureHouse a lancé le Language Agent Biology Benchmark (LAB-Bench) en 2024. Cet ensemble de données contient plus de 2 400 questions à choix multiples pour évaluer les performances des systèmes d'intelligence artificielle dans une série de capacités pratiques de recherche biologique, notamment les capacités de recherche documentaire et de raisonnement, les capacités d'interprétation des données, la capacité d'accéder et de naviguer dans les bases de données, la capacité de comprendre et de contrôler les séquences d'ADN et de protéines, etc. Les résultats pertinents de l'article sontLAB-Bench : Mesure des capacités des modèles linguistiques pour la recherche en biologie"