TaskBench est un ensemble de données publié par Microsoft Research en 2023, dédié à l'évaluation de l'automatisation des tâches par les grands modèles de langage. Les travaux de recherche associés sont présentés dans « TaskBench: Benchmarking Large Language Models for Task Automation », visant à résoudre les difficultés liées à la collecte de données et à l'évaluation dans des tâches complexes telles que la décomposition de tâches, l'appel d'outils et la prédiction de paramètres.

Cet ensemble de données contient 28 271 échantillons de haute qualité, couvrant trois domaines : Tools, Multimedia Tools et Daily Life APIs. Les données utilisent une représentation par graphe d'outils (Tool Graph) pour exprimer les tâches décomposées issues de l'intention de l'utilisateur, et simulent les instructions et annotations des utilisateurs grâce à la méthode Back-Instruct. Elles prennent en charge diverses structures de décomposition de tâches, telles que les nœuds, les chaînes et les DAG, offrant ainsi une référence complète pour évaluer la capacité d'automatisation des LLM dans des scénarios réels.

Composition du jeu de données

La taille de chaque sous-ensemble est la suivante :

• Tools : 12 217 échantillons au total, dont 7 458 conservés après validation humaine.
• Multimedia Tools : 8 904 échantillons au total, dont 5 555 conservés après validation humaine.
• Daily Life APIs : 7 150 échantillons au total, dont 4 318 conservés après validation humaine.

Chaque répertoire de sous-ensemble contient les quatre fichiers suivants :

• data.json : contient les échantillons du jeu de données.
• graph_desc.json : contient les descriptions des graphes d'outils.
• user_requests.json : contient les requêtes des utilisateurs.
• tool_desc.json : contient les descriptions des outils.

Citation

@article{shen2023taskbench,
      title   = {TaskBench: Benchmarking Large Language Models for Task Automation},
      author  = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
      journal = {arXiv preprint arXiv:2311.18760},
      year    = {2023}
    }