AgentWorldBench est un jeu de données de référence pour l'évaluation complète des modèles du monde du langage, publié par Qwen en 2026. L'article de recherche associé est… Qwen-agentworld : modèles de monde linguistique pour les agents générauxIl vise à évaluer les capacités de modélisation environnementale et de raisonnement des modèles du monde du langage, et est largement utilisé dans l'évaluation des capacités des agents de grands modèles, l'invocation d'outils et la vérification de l'interaction du système, ainsi que dans l'ingénierie logicielle automatisée et la recherche sur les tâches au niveau du système d'exploitation. Cet ensemble de données contient 2 170 échantillons, avec une moyenne de 22,8 itérations d'interaction. Il est construit à partir de trajectoires de modèles réels issues de benchmarks reconnus tels que Tool Decathlon, Terminal-Bench 1.0/2.0 et OSWorld-Verified. Chaque échantillon d'évaluation est accompagné d'une réponse standard obtenue lors d'une exécution en environnement réel. Les observations environnementales prédites sont évaluées selon cinq dimensions : format, factualité, cohérence, réalisme et qualité, afin d'explorer les capacités de raisonnement, de connaissance et de contextualisation à long terme requises pour la simulation environnementale.

Composition de l'ensemble de données

• MCP : 286 échantillons, avec une moyenne de 23,1 cycles d’interaction, couvrant les réponses du serveur API, les résultats des appels d’outils, l’état de la base de données et les protocoles de service.
• Recherche : 458 échantillons, 15,5 interactions en moyenne, couvrant les résultats des moteurs de recherche, les URL, les résumés, les classements et le contenu des pages.
• Terminal : 354 échantillons, avec une moyenne de 26,7 cycles d'interaction, couvrant l'environnement de ligne de commande, la sortie du shell, l'état du système de fichiers et le comportement des processus.
• SWE : 472 échantillons, 28,1 cycles d’interaction en moyenne, couvrant l’environnement IDE/d’édition de code, les différences Git, les résultats des tests et les erreurs de compilation.
• Android : 200 échantillons, temps d’interaction moyen de 37,8 cycles, couvrant les changements dans la hiérarchie de l’interface utilisateur Android après les opérations tactiles/gestes.
• Web : 200 échantillons, 14,2 cycles d’interaction en moyenne, couvrant les modifications de l’état DOM du navigateur après l’interaction de l’utilisateur.
• OS : 200 échantillons, avec une moyenne de 12,7 cycles, couvrant l'état du système d'exploitation de bureau, le système de fichiers, la gestion des fenêtres et le comportement des applications.

Citation

@article{zuo2026qwen,
title={Qwen-agentworld: language world models for general agents},
author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others},
journal={arXiv preprint arXiv:2606.24597},
year={2026}
}