AgentNet ist der erste groß angelegte, Desktop-Computer-basierte Datensatz für intelligente Agenten-Trajektorien, der 2025 vom XLANG-Labor der Universität Hongkong in Zusammenarbeit mit Moonshot AI, der Stanford University und anderen Institutionen veröffentlicht wurde. Die zugehörigen Ergebnisse der Studie sind:OPENCUA: Offene Grundlagen für Computer-Use-Agenten“, dessen Ziel die Unterstützung und Evaluierung plattformübergreifender GUI-Operationsagenten und Vision-Language-Action-Modelle (VLA) ist. Dieser Datensatz enthält 22,6.000 manuell annotierte Computernutzungs-Task-Traces für Windows, macOS und Ubuntu sowie über 200 Anwendungen und Websites. Die Szenarien lassen sich in vier Kategorien einteilen: Büro, Beruf, Alltag und System. Er eignet sich für das Training und die Evaluierung von Desktop-Automatisierung, Multi-Application-Prozessen und plattformübergreifenden Agenten.

Datenstrukturen und Felder

Jede Probe enthält:

• Aufgabenmetadaten: Aufgabennummer (task_id), Anweisung (Anweisung);
• Qualitätsbewertung: Vollständigkeit, Konsistenz, Effizienz und Schwierigkeit;
• Zusammenfassende Beschreibung: natural_language_task, actual_task;
• Trajektorien-Array: traj (in chronologischer Reihenfolge aufgezeichnete Operationsschritte).

Flugbahnschritte (traj)Struktur:

• Jeder Schritt enthält Index-, Bild- (Screenshot) und Wertobjekte:

• Beobachtung (Szenenbeobachtung), Gedanke (Denken/Planen), Aktion (Aktion in natürlicher Sprache), Code (ausführbarer Code, wie z. B. PyAutoGUI), letzter_Schritt_richtig, letzter_Schritt_redundant und Reflexion.

  

Zitat

@misc{wang2025opencuaopenfoundationscomputeruse,
title={OpenCUA: Open Foundations for Computer-Use Agents},
author={Xinyuan Wang and Bowen Wang and Dunjie Lu and Junlin Yang and Tianbao Xie and Junli Wang and Jiaqi Deng and Xiaole Guo and Yiheng Xu and Chen Henry Wu and Zhennan Shen and Zhuokai Li and Ryan Li and Xiaochuan Li and Junda Chen and Boyuan Zheng and Peihang Li and Fangyu Lei and Ruisheng Cao and Yeqiao Fu and Dongchan Shin and Martin Shin and Jiarui Hu and Yuyan Wang and Jixuan Chen and Yuxiao Ye and Danyang Zhang and Dikang Du and Hao Hu and Huarong Chen and Zaida Zhou and Haotian Yao and Ziwei Chen and Qizheng Gu and Yipu Wang and Heng Wang and Diyi Yang and Victor Zhong and Flood Sung and Y. Charles and Zhilin Yang and Tao Yu},
year={2025},
eprint={2508.09123},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2508.09123},
}