TaskBench は、Microsoft Research が 2023 年に公開した、大規模言語モデル（LLM）によるタスク自動化の評価に特化したデータセットです。関連する論文は TaskBench: Benchmarking Large Language Models for Task Automation であり、タスク分解、ツール呼び出し、パラメータ予測などの複雑なタスクにおけるデータ収集と評価の課題を解決することを目的としています。

このデータセットには、Tools、Multimedia Tools、Daily Life APIs の 3 つの分野をカバーする 28,271 件の高品質なサンプルが含まれています。 データは、ユーザー意図内の分解されたタスクを表現するためにツールグラフ（Tool Graph）を使用しており、Back-Instruct 手法によってユーザー指示とアノテーションをシミュレートしています。ノード、チェーン、DAG など多様なタスク分解構造をサポートし、LLM の現実的な自動化能力を評価するための包括的なベンチマークを提供します。

データセットの構成

各サブセットのデータ規模は以下の通りです：

• Tools：合計 12,217 件のサンプル、人手による検証後に 7,458 件を保持。
• Multimedia Tools：合計 8,904 件のサンプル、人手による検証後に 5,555 件を保持。
• Daily Life APIs：合計 7,150 件のサンプル、人手による検証後に 4,318 件を保持。

各サブセットのディレクトリには、以下の 4 つのファイルが含まれています：

• data.json：データセットのサンプルを格納。
• graph_desc.json：ツールグラフの説明を格納。
• user_requests.json：ユーザーリクエストを格納。
• tool_desc.json：ツールの説明を格納。

Citation

@article{shen2023taskbench,
      title   = {TaskBench: Benchmarking Large Language Models for Task Automation},
      author  = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
      journal = {arXiv preprint arXiv:2311.18760},
      year    = {2023}
    }