TaskBench ist ein 2023 von Microsoft Research veröffentlichter Datensatz, der sich auf die Bewertung der Aufgabenautomatisierung großer Sprachmodelle konzentriert. Die zugehörige Publikation finden Sie unter TaskBench: Benchmarking Large Language Models for Task Automation. Er zielt darauf ab, Herausforderungen bei der Datenerfassung und -bewertung bei komplexen Aufgaben wie Aufgabenzerlegung, Tool-Aufrufen und Parameter-Vorhersagen zu lösen.

Der Datensatz umfasst 28.271 hochwertige Beispiele aus den drei Bereichen Tools, Multimedia Tools und Daily Life APIs. Die Daten werden durch einen Werkzeuggraphen (Tool Graph) repräsentiert, der die in der Nutzerabsicht zerlegten Aufgaben abbildet. Durch die Back-Instruct-Methode werden Nutzeranweisungen und Annotationen simuliert, wobei verschiedene Zerlegungsstrukturen wie Knoten, Ketten und DAGs unterstützt werden. Dies bietet eine umfassende Benchmark-Basis für die Bewertung der Automatisierungsfähigkeiten von LLMs in realen Szenarien.

Zusammensetzung des Datensatzes

Die Datenvolumina der einzelnen Teilmengen sind wie folgt:

• Tools: Insgesamt 12.217 Beispiele, von denen nach manueller Validierung 7.458 beibehalten wurden.
• Multimedia Tools: Insgesamt 8.904 Beispiele, von denen nach manueller Validierung 5.555 beibehalten wurden.
• Daily Life APIs: Insgesamt 7.150 Beispiele, von denen nach manueller Validierung 4.318 beibehalten wurden.

Jedes Unterverzeichnis enthält die folgenden vier Dateien:

• data.json: Speichert die Datensatzbeispiele.
• graph_desc.json: Speichert die Beschreibung des Werkzeuggraphen.
• user_requests.json: Speichert die Nutzeranfragen.
• tool_desc.json: Speichert die Werkzeugbeschreibungen.

Zitierung

@article{shen2023taskbench,
      title   = {TaskBench: Benchmarking Large Language Models for Task Automation},
      author  = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
      journal = {arXiv preprint arXiv:2311.18760},
      year    = {2023}
    }