GroundCUA 是由 Mila 魁北克人工智能研究所联合麦吉尔大学、蒙特利尔大学等机构于 2025 年发布的一个真实用户界面（UI）数据集，相关论文成果为「Grounding Computer Use Agents on Human Demonstrations」，旨在支持能够与计算机进行交互的多模态智能体研究。 该数据集包含约 56,000 张桌面截图，覆盖 87 个应用、 12 个类别。数据集基于专家级人类操作示范构建，并提供超过 356 万条经过人工验证的元素级注释。包括 Windows 、 macOS 、 Linux 以及多种跨平台软件，内容涉及生产力工具、通信软件、创意工具、系统工具和开发环境等多类常见应用。数据按软件平台分类存储，便于构建可扩展的数据处理流水线。

数据构成：

• UI 截图图像（PNG）
• 元素级标注 JSON 文件：

• 元素位置与大小（Bounding Box）
• 屏幕文字内容
• UI 功能类别标签
• 唯一元素 ID

  

Citation

@misc{feizi2025groundingcomputeruseagents,
title={Grounding Computer Use Agents on Human Demonstrations},
author={Aarash Feizi and Shravan Nayak and Xiangru Jian and Kevin Qinghong Lin and Kaixin Li and Rabiul Awal and Xing Han Lù and Johan Obando-Ceron and Juan A. Rodriguez and Nicolas Chapados and David Vazquez and Adriana Romero-Soriano and Reihaneh Rabbany and Perouz Taslakian and Christopher Pal and Spandana Gella and Sai Rajeswar},
year={2025},
eprint={2511.07332},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2511.07332},
}