GroundCUAは、ミラ・ケベック人工知能研究所がマギル大学、モントリオール大学などの機関と共同で2025年に公開した、実世界のユーザーインターフェース（UI）データセットです。関連する研究論文のタイトルは「人間のデモンストレーションに基づくコンピュータ使用エージェントの基盤目標は、コンピューターと対話できるマルチモーダルインテリジェントエージェントの研究をサポートすることです。 このデータセットには、87のアプリケーションと12のカテゴリをカバーする約56,000枚のデスクトップスクリーンショットが含まれています。専門家レベルの人間によるデモンストレーションに基づいて構築されており、356万件以上の手動で検証された要素レベルの注釈が含まれています。Windows、macOS、Linux、そして様々なクロスプラットフォームソフトウェアを網羅し、生産性向上ツール、コミュニケーションソフトウェア、クリエイティブツール、システムツール、開発環境など、一般的なアプリケーションを網羅しています。データはソフトウェアプラットフォーム別に分類されて保存されるため、スケーラブルなデータ処理パイプラインの構築が容易になります。

データ構成:

• UI スクリーンショット画像 (PNG)
• 要素レベルの注釈付き JSON ファイル:

• 要素の位置とサイズ（バウンディングボックス）
• 画面テキストコンテンツ
• UI機能カテゴリタグ
• 一意の要素ID

  

引用

@misc{feizi2025groundingcomputeruseagents,
title={Grounding Computer Use Agents on Human Demonstrations},
author={Aarash Feizi and Shravan Nayak and Xiangru Jian and Kevin Qinghong Lin and Kaixin Li and Rabiul Awal and Xing Han Lù and Johan Obando-Ceron and Juan A. Rodriguez and Nicolas Chapados and David Vazquez and Adriana Romero-Soriano and Reihaneh Rabbany and Perouz Taslakian and Christopher Pal and Spandana Gella and Sai Rajeswar},
year={2025},
eprint={2511.07332},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2511.07332},
}