LAB Bench 语言模型生物学基准数据集

* 该数据集支持在线使用，点击此处跳转。

人们普遍乐观地认为，前沿大语言模型 (LLM) 和 LLM 增强系统有可能迅速加速各学科的科学发现。如今，有很多基准可以衡量 LLM 在教科书式科学问题上的知识和推理能力，但很少有基准被用来评估语言模型在科学研究所需的实际任务（如文献检索、协议规划和数据分析）上的性能。

作为建立此类基准的第一步，来自 FutureHouse 的研究团队于 2024 年推出了 Language Agent Biology Benchmark（简称 LAB-Bench），该数据集包含 2,400 多道选择题，用于评估人工智能系统在一系列实用生物学研究能力方面的表现，包括文献检索和推理能力、数据解读能力、接入和导航数据库的能力、理解控制 DNA 以及蛋白质序列的能力等等。相关论文成果为「LAB-Bench: Measuring Capabilities of Language Models for Biology Research」