AgentWorldBench ist ein Benchmark-Datensatz zur umfassenden Evaluierung von Sprachweltmodellen, der 2026 von Qwen veröffentlicht wurde. Die zugehörige Forschungsarbeit ist... Qwen-Agentenwelt: Sprachweltmodelle für allgemeine AgentenZiel ist die Bewertung der Umweltmodellierungs- und Schlussfolgerungsfähigkeiten von Sprachweltmodellen. Es findet breite Anwendung bei der Bewertung der Fähigkeiten großer Modellagenten, dem Aufruf von Werkzeugen und der Überprüfung der Systeminteraktion sowie bei der automatisierten Softwareentwicklung und der Forschung zu Aufgaben auf Betriebssystemebene. Dieser Datensatz umfasst 2.170 Beispiele mit durchschnittlich 22,8 Interaktionsrunden. Er basiert auf realen Modelltrajektorien aus gängigen Benchmarks wie Tool Decathlon, Terminal-Bench 1.0/2.0 und OSWorld-Verified. Jedes Evaluierungsbeispiel enthält eine Standardantwort, die durch Ausführung in einer realen Umgebung erzielt wurde. Die vorhergesagten Umgebungsbeobachtungen werden anhand von fünf Dimensionen bewertet: Format, Faktentreue, Konsistenz, Realismus und Qualität. Ziel ist es, die für die Umgebungssimulation erforderlichen Fähigkeiten in Bezug auf logisches Denken, Wissen und Kontextbezug zu untersuchen.

Datensatzzusammensetzung

• MCP: 286 Stichproben mit durchschnittlich 23,1 Interaktionsrunden, die API-Serverantworten, Ergebnisse von Toolaufrufen, Datenbankstatus und Serviceprotokolle abdecken.
• Suche: 458 Beispiele, durchschnittlich 15,5 Interaktionen, die Suchmaschinenergebnisse, URLs, Zusammenfassungen, Rankings und Seiteninhalte umfassen.
• Terminal: 354 Stichproben mit durchschnittlich 26,7 Interaktionsrunden, die die Kommandozeilenumgebung, die Shell-Ausgabe, den Dateisystemstatus und das Prozessverhalten abdecken.
• SWE: 472 Stichproben, durchschnittlich 28,1 Interaktionsrunden, die IDE-/Codebearbeitungsumgebung, Git-Diff, Testergebnisse und Kompilierungsfehler abdecken.
• Android: 200 Stichproben, durchschnittliche Interaktionszeit 37,8 Runden, wobei Änderungen in der Android-UI-Hierarchie nach Berührungs-/Gestenoperationen erfasst wurden.
• Web: 200 Stichproben, durchschnittlich 14,2 Interaktionsrunden, die Änderungen im Browser-DOM-Zustand nach Benutzerinteraktionen abdecken.
• OS: 200 Stichproben, durchschnittlich 12,7 Runden, die den Status des Desktop-Betriebssystems, das Dateisystem, die Fensterverwaltung und das Anwendungsverhalten abdecken.

Zitat

@article{zuo2026qwen,
title={Qwen-agentworld: language world models for general agents},
author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others},
journal={arXiv preprint arXiv:2606.24597},
year={2026}
}