AgentWorldBenchは、言語世界モデルの包括的な評価のためのベンチマークデータセットであり、2026年にQwenによって公開されました。関連する研究論文は… Qwen-agentworld: 一般的なエージェントのための言語世界モデル本研究は、言語世界モデルの環境モデリング能力と推論能力を評価することを目的としており、大規模モデルエージェントの能力評価、ツールの呼び出しとシステム相互作用の検証、自動化されたソフトウェアエンジニアリング、およびオペレーティングシステムレベルのタスク研究に広く利用されている。 このデータセットには、平均22.8回のインタラクションを含む2,170個のサンプルが含まれています。これは、Tool Decathlon、Terminal-Bench 1.0/2.0、OSWorld-Verifiedなどの主流ベンチマークからの実世界のモデル軌跡に基づいて構築されています。各評価サンプルには、実際の環境で実行して得られた標準的な回答が付属しています。予測された環境観測は、環境シミュレーションに必要な推論、知識、および長期コンテキスト能力を検証するために、形式、事実性、一貫性、現実性、品質の5つの側面で評価されます。

データセットの構成

• MCP：286サンプル、平均23.1回のインタラクションで、APIサーバー応答、ツール呼び出し結果、データベースステータス、サービスプロトコルを網羅。
• 検索：458件のサンプル、平均15.5回のインタラクション。検索エンジンの結果、URL、概要、ランキング、ページコンテンツを網羅。
• 端末：354サンプル、平均26.7回の対話ラウンドで、コマンドライン環境、シェル出力、ファイルシステムの状態、およびプロセス動作を網羅。
• SWE: 472サンプル、平均28.1回のインタラクション、IDE/コード編集環境、git diff、テスト結果、コンパイルエラーを網羅。
• Android: 200サンプル、平均37.8回のインタラクションラウンド、タッチ/ジェスチャー操作後のAndroid UI階層の変化を網羅。
• Web：200サンプル、平均14.2回のインタラクション、ユーザー操作後のブラウザDOM状態の変化を網羅。
• OS: 200サンプル、平均12.7ラウンド。デスクトップオペレーティングシステムの状態、ファイルシステム、ウィンドウ管理、およびアプリケーションの動作を網羅。

引用

@article{zuo2026qwen,
title={Qwen-agentworld: language world models for general agents},
author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others},
journal={arXiv preprint arXiv:2606.24597},
year={2026}
}