GroundCUA est un ensemble de données d'interfaces utilisateur (IU) réelles, publié en 2025 par l'Institut d'intelligence artificielle Mila de Québec, en collaboration avec l'Université McGill, l'Université de Montréal et d'autres institutions. L'article de recherche associé s'intitule « Ancrer les agents d'utilisation informatique dans des démonstrations humainesL'objectif est de soutenir la recherche sur les agents intelligents multimodaux capables d'interagir avec les ordinateurs.

Cet ensemble de données contient environ 56 000 captures d'écran d'ordinateurs de bureau, couvrant 87 applications et 12 catégories. Basé sur des démonstrations humaines réalisées par des experts, il comprend plus de 3,56 millions d'annotations au niveau des éléments, vérifiées manuellement. Il couvre Windows, macOS, Linux et divers logiciels multiplateformes, incluant des applications courantes telles que les outils de productivité, de communication, de création, système et les environnements de développement. Les données sont stockées et catégorisées par plateforme logicielle, facilitant ainsi la construction de pipelines de traitement de données évolutifs.

Composition des données :

• Capture d'écran de l'interface utilisateur (PNG)
• Fichier JSON annoté au niveau des éléments :
  • Position et taille de l'élément (boîte englobante)
  • Contenu du texte à l'écran
  • Étiquettes de catégorie de fonction d'interface utilisateur
  • ID d'élément unique