AgentWorldBench هي مجموعة بيانات مرجعية لتقييم نماذج عالم اللغة بشكل شامل، وقد أصدرتها شركة Qwen في عام 2026. الورقة البحثية ذات الصلة هي... Qwen-agentworld: نماذج عالم اللغة للوكلاء العامينيهدف إلى تقييم قدرات النمذجة البيئية والاستدلال لنماذج عالم اللغة، ويستخدم على نطاق واسع في تقييم قدرة وكيل النموذج الكبير، واستدعاء الأدوات والتحقق من تفاعل النظام، بالإضافة إلى هندسة البرمجيات الآلية وبحوث المهام على مستوى نظام التشغيل. تحتوي هذه المجموعة من البيانات على 2170 عينة، بمتوسط 22.8 جولة تفاعل. وقد بُنيت استنادًا إلى مسارات نماذج واقعية من معايير قياسية شائعة مثل Tool Decathlon وTerminal-Bench 1.0/2.0 وOSWorld-Verified. تُرفق كل عينة تقييم بإجابة قياسية مُستقاة من خلال التنفيذ في بيئة حقيقية. تُقيّم الملاحظات البيئية المُتوقعة وفقًا لخمسة أبعاد: الشكل، والدقة، والاتساق، والواقعية، والجودة، وذلك لاستكشاف قدرات الاستدلال والمعرفة والسياق الطويل اللازمة لمحاكاة البيئة.

تكوين مجموعة البيانات

• MCP: 286 عينة، بمتوسط 23.1 جولة من التفاعل، تغطي استجابات خادم API، ونتائج استدعاء الأداة، وحالة قاعدة البيانات، وبروتوكولات الخدمة.
• البحث: 458 عينة، بمتوسط 15.5 تفاعلًا، تغطي نتائج محركات البحث، وعناوين URL، والملخصات، والتصنيفات، ومحتوى الصفحة.
• الطرفية: 354 عينة، بمتوسط 26.7 جولة من التفاعل، تغطي بيئة سطر الأوامر، ومخرجات الصدفة، وحالة نظام الملفات، وسلوك العملية.
• SWE: 472 عينة، بمتوسط 28.1 جولة من التفاعل، تغطي بيئة IDE/تحرير التعليمات البرمجية، و git diff، ونتائج الاختبار وأخطاء التجميع.
• نظام أندرويد: 200 عينة، متوسط وقت التفاعل 37.8 جولة، تغطي التغييرات في التسلسل الهرمي لواجهة المستخدم لنظام أندرويد بعد عمليات اللمس/الإيماءات.
• الويب: 200 عينة، بمتوسط 14.2 جولة من التفاعل، تغطي التغييرات في حالة DOM للمتصفح بعد تفاعل المستخدم.
• نظام التشغيل: 200 عينة، بمتوسط 12.7 جولة، تغطي حالة نظام تشغيل سطح المكتب، ونظام الملفات، وإدارة النوافذ، وسلوك التطبيق.

الاستشهاد

@article{zuo2026qwen,
title={Qwen-agentworld: language world models for general agents},
author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others},
journal={arXiv preprint arXiv:2606.24597},
year={2026}
}