TaskBench 是由 Microsoft Research 于 2023 年发布的一个专注于大语言模型任务自动化评估的数据集，相关论文成果为「TaskBench: Benchmarking Large Language Models for Task Automation」，旨在解决任务分解、工具调用和参数预测等复杂任务中的数据采集与评估难题。

该数据集包含 28,271 个高质量样本，涵盖 Tools、Multimedia Tools 和 Daily Life APIs 三个领域。 数据采用工具图（Tool Graph）表示用户意图中的分解任务，并通过 Back-Instruct 方法模拟用户指令和注释，支持节点、链和 DAG 等多种任务分解结构，为评估 LLM 在真实场景下的自动化能力提供了全面基准。

数据集组成

各子集的数据规模如下：

• Tools：共 12,217 个样本，经人工验证后保留 7,458 个。
• Multimedia Tools：共 8,904 个样本，经人工验证后保留 5,555 个。
• Daily Life APIs：共 7,150 个样本，经人工验证后保留 4,318 个。

每个子集目录下均包含以下四个文件：

• data.json：存储数据集样本。
• graph_desc.json：存储工具图描述。
• user_requests.json：存储用户请求。
• tool_desc.json：存储工具描述。

Citation

@article{shen2023taskbench,
      title   = {TaskBench: Benchmarking Large Language Models for Task Automation},
      author  = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
      journal = {arXiv preprint arXiv:2311.18760},
      year    = {2023}
    }