AgentNet est le premier ensemble de données de trajectoires d'agents intelligents à grande échelle, basé sur un ordinateur de bureau, publié en 2025 par le laboratoire XLANG de l'Université de Hong Kong, en collaboration avec Moonshot AI, l'Université Stanford et d'autres institutions. Les résultats de l'étude sont les suivants :OPENCUA : Fondations ouvertes pour les agents informatiques", qui vise à prendre en charge et à évaluer les agents d'exploitation d'interface utilisateur graphique multiplateformes et les modèles vision-langage-action (VLA).

Cet ensemble de données contient 22,6 000 traces d'utilisation d'ordinateurs annotées manuellement, couvrant Windows, macOS et Ubuntu, ainsi que plus de 200 applications et sites web. Les scénarios se répartissent en quatre catégories : bureautique, professionnel, quotidien et système. Il est adapté à la formation et à l'évaluation de l'automatisation des postes de travail, des processus multi-applications et des agents multiplateformes.

Structures de données et champs

Chaque échantillon contient :

• Métadonnées de la tâche : numéro de tâche (task_id), instruction (instruction) ;
• Évaluation de la qualité : achèvement, cohérence, efficacité et difficulté ;
• Description sommaire : natural_language_task, actual_task ;
• Tableau de trajectoires : traj (étapes de l'opération enregistrées dans l'ordre chronologique).

Étapes de la trajectoire (traj)structure:

• Chaque étape contient des objets d'index, d'image (capture d'écran) et de valeur :
  • observation (observation de scène), pensée (réflexion/planification), action (action en langage naturel), code (code exécutable, tel que PyAutoGUI), last_step_correct, last_step_redundant et réflexion.