TaskBench는 Microsoft Research가 2023년 출시한 대규모 언어 모델의 작업 자동화 평가에 특화된 데이터셋으로, 관련 논문 결과는 TaskBench: Benchmarking Large Language Models for Task Automation이며, 작업 분해, 도구 호출 및 파라미터 예측과 같은 복잡한 작업에서의 데이터 수집 및 평가 난제를 해결하는 것을 목표로 합니다.

이 데이터셋은 Tools, Multimedia Tools, Daily Life API의 세 영역을 포괄하는 28,271개의 고품질 샘플을 포함합니다. 데이터는 도구 그래프(Tool Graph)를 사용하여 사용자 의도 내의 분해된 작업을 표현하며, Back-Instruct 방법을 통해 사용자 지시와 주석을 시뮬레이션합니다. 노드, 체인 및 DAG 등 다양한 작업 분해 구조를 지원하여 실제 환경에서의 LLM 자동화 능력 평가를 위한 포괄적인 벤치마크를 제공합니다.

데이터셋 구성

각 하위 데이터셋의 데이터 규모는 다음과 같습니다:

• Tools: 총 12,217개의 샘플 중 수동 검증 후 7,458개를 유지했습니다.
• Multimedia Tools: 총 8,904개의 샘플 중 수동 검증 후 5,555개를 유지했습니다.
• Daily Life API: 총 7,150개의 샘플 중 수동 검증 후 4,318개를 유지했습니다.

각 하위 데이터셋 디렉토리에는 다음 네 개의 파일이 포함되어 있습니다:

• data.json: 데이터셋 샘플을 저장합니다.
• graph_desc.json: 도구 그래프 설명을 저장합니다.
• user_requests.json: 사용자 요청을 저장합니다.
• tool_desc.json: 도구 설명을 저장합니다.

인용

@article{shen2023taskbench,
      title   = {TaskBench: Benchmarking Large Language Models for Task Automation},
      author  = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
      journal = {arXiv preprint arXiv:2311.18760},
      year    = {2023}
    }