AgentNet est le premier ensemble de données de trajectoires d'agents intelligents à grande échelle, basé sur un ordinateur de bureau, publié en 2025 par le laboratoire XLANG de l'Université de Hong Kong, en collaboration avec Moonshot AI, l'Université Stanford et d'autres institutions. Les résultats de l'étude sont les suivants :OPENCUA : Fondations ouvertes pour les agents informatiques", qui vise à prendre en charge et à évaluer les agents d'exploitation d'interface utilisateur graphique multiplateformes et les modèles vision-langage-action (VLA). Cet ensemble de données contient 22,6 000 traces d'utilisation d'ordinateurs annotées manuellement, couvrant Windows, macOS et Ubuntu, ainsi que plus de 200 applications et sites web. Les scénarios se répartissent en quatre catégories : bureautique, professionnel, quotidien et système. Il est adapté à la formation et à l'évaluation de l'automatisation des postes de travail, des processus multi-applications et des agents multiplateformes.

Structures de données et champs

Chaque échantillon contient :

• Métadonnées de la tâche : numéro de tâche (task_id), instruction (instruction) ;
• Évaluation de la qualité : achèvement, cohérence, efficacité et difficulté ;
• Description sommaire : natural_language_task, actual_task ;
• Tableau de trajectoires : traj (étapes de l'opération enregistrées dans l'ordre chronologique).

Étapes de la trajectoire (traj)structure:

• Chaque étape contient des objets d'index, d'image (capture d'écran) et de valeur :

• observation (observation de scène), pensée (réflexion/planification), action (action en langage naturel), code (code exécutable, tel que PyAutoGUI), last_step_correct, last_step_redundant et réflexion.

  

Citation

@misc{wang2025opencuaopenfoundationscomputeruse,
title={OpenCUA: Open Foundations for Computer-Use Agents},
author={Xinyuan Wang and Bowen Wang and Dunjie Lu and Junlin Yang and Tianbao Xie and Junli Wang and Jiaqi Deng and Xiaole Guo and Yiheng Xu and Chen Henry Wu and Zhennan Shen and Zhuokai Li and Ryan Li and Xiaochuan Li and Junda Chen and Boyuan Zheng and Peihang Li and Fangyu Lei and Ruisheng Cao and Yeqiao Fu and Dongchan Shin and Martin Shin and Jiarui Hu and Yuyan Wang and Jixuan Chen and Yuxiao Ye and Danyang Zhang and Dikang Du and Hao Hu and Huarong Chen and Zaida Zhou and Haotian Yao and Ziwei Chen and Qizheng Gu and Yipu Wang and Heng Wang and Diyi Yang and Victor Zhong and Flood Sung and Y. Charles and Zhilin Yang and Tao Yu},
year={2025},
eprint={2508.09123},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2508.09123},
}