AgentWorldBench 是由 Qwen 于 2026 年发布的一个语言世界模型综合评估基准数据集，相关论文成果为 Qwen-agentworld: language world models for general agents，旨在评测语言世界模型的环境建模与推理能力，广泛应用于大模型 Agent 能力评测、工具调用与系统交互验证，以及自动化软件工程和操作系统级任务研究。 该数据集包含 2,170 条样本数据，平均交互轮次 22.8 轮，基于 Tool Decathlon 、 Terminal-Bench 1.0 / 2.0 和 OSWorld-Verified 等主流基准中的真实世界模型轨迹构建，每个评测样本都配有通过真实环境执行获得的标准答案，通过格式、事实性、一致性、真实感和质量 5 个维度对预测的环境观测进行评分，以探测环境模拟所需的推理、知识与长上下文能力。

数据集构成

• MCP：286 个样本，平均交互 23.1 轮，涵盖 API 服务器响应、工具调用结果、数据库状态及服务协议
• Search：458 个样本，平均交互 15.5 轮，涵盖搜索引擎结果、 URL 、摘要、排名及页面内容
• Terminal：354 个样本，平均交互 26.7 轮，涵盖命令行环境、 Shell 输出、文件系统状态及进程行为
• SWE：472 个样本，平均交互 28.1 轮，涵盖 IDE / 代码编辑环境、 git diff 、测试结果及编译错误
• Android：200 个样本，平均交互 37.8 轮，涵盖 Android UI 层级在触摸/手势操作后的变化
• Web：200 个样本，平均交互 14.2 轮，涵盖浏览器 DOM 状态在用户交互后的变化
• OS：200 个样本，平均 12.7 轮，涵盖桌面操作系统状态、文件系统、窗口管理及应用程序行为

Citation

@article{zuo2026qwen,
title={Qwen-agentworld: language world models for general agents},
author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others},
journal={arXiv preprint arXiv:2606.24597},
year={2026}
}