TaskBench هي مجموعة بيانات طورتها Microsoft Research في عام 2023، تركز على تقييم أتمتة المهام باستخدام نماذج اللغة الكبيرة (LLMs). يستند البحث المرتبط بها إلى الورقة العلمية «TaskBench: Benchmarking Large Language Models for Task Automation»، وتهدف إلى معالجة تحديات جمع البيانات وتقييمها في المهام المعقدة مثل تفكيك المهام، واستدعاء الأدوات، والتنبؤ بالمعلمات.

تتضمن مجموعة البيانات 28,271 عينة عالية الجودة، وتغطي ثلاثة مجالات: الأدوات (Tools)، وأدوات الوسائط المتعددة (Multimedia Tools)، وواجهات برمجة التطبيقات للحياة اليومية (Daily Life APIs). تُمثّل البيانات نية المستخدم للمهام المفككة باستخدام تمثيل "رسم بياني للأدوات" (Tool Graph)، وتُحاكي تعليمات المستخدم والتعليقات التوضيحية عبر طريقة Back-Instruct، مما يدعم هياكل متعددة لتفكيك المهام مثل العقد (Nodes)، والسلاسل (Chains)، والرسوم البيانية الموجهة غير الدورية (DAG). توفر هذه المجموعة معياراً شاملاً لتقييم قدرات الأتمتة لدى نماذج اللغة الكبيرة في سيناريوهات حقيقية.

تكوين مجموعة البيانات

يوضح ما يلي حجم البيانات في كل مجموعة فرعية:

• الأدوات (Tools): إجمالي 12,217 عينة، مع الاحتفاظ بـ 7,458 عينة بعد التحقق البشري.
• أدوات الوسائط المتعددة (Multimedia Tools): إجمالي 8,904 عينة، مع الاحتفاظ بـ 5,555 عينة بعد التحقق البشري.
• واجهات برمجة التطبيقات للحياة اليومية (Daily Life APIs): إجمالي 7,150 عينة، مع الاحتفاظ بـ 4,318 عينة بعد التحقق البشري.

تحتوي كل مجلد فرعي على الملفات الأربعة التالية:

• data.json: يخزن عينات مجموعة البيانات.
• graph_desc.json: يخزن وصف الرسم البياني للأدوات.
• user_requests.json: يخزن طلبات المستخدم.
• tool_desc.json: يخزن وصف الأدوات.

الاستشهاد

@article{shen2023taskbench,
      title   = {TaskBench: Benchmarking Large Language Models for Task Automation},
      author  = {Shen, Yongliang and Song, Kaitao and Tan, Xu and Zhang, Wenqi and Ren, Kan and Yuan, Siyu and Lu, Weiming and Li, Dongsheng and Zhuang, Yueting},
      journal = {arXiv preprint arXiv:2311.18760},
      year    = {2023}
    }