HyperAI超神经

LAB Bench 语言模型生物学基准数据集

日期

9 个月前

大小

241.96 MB

机构

FutureHouse

发布地址

huggingface.co

* 该数据集支持在线使用,点击此处跳转

人们普遍乐观地认为,前沿大语言模型 (LLM) 和 LLM 增强系统有可能迅速加速各学科的科学发现。如今,有很多基准可以衡量 LLM 在教科书式科学问题上的知识和推理能力,但很少有基准被用来评估语言模型在科学研究所需的实际任务(如文献检索、协议规划和数据分析)上的性能。

作为建立此类基准的第一步,来自 FutureHouse 的研究团队于 2024 年推出了 Language Agent Biology Benchmark(简称 LAB-Bench),该数据集包含 2,400 多道选择题,用于评估人工智能系统在一系列实用生物学研究能力方面的表现,包括文献检索和推理能力、数据解读能力、接入和导航数据库的能力、理解控制 DNA 以及蛋白质序列的能力等等。相关论文成果为「LAB-Bench: Measuring Capabilities of Language Models for Biology Research

LAB-Bench.torrent
做种 1正在下载 1已完成 69总下载次数 183
  • LAB-Bench/
    • README.md
      1.65 KB
    • README.txt
      3.3 KB
      • data/
        • lab-bench.zip
          241.96 MB