GroundCUAは、ミラ・ケベック人工知能研究所がマギル大学、モントリオール大学などの機関と共同で2025年に公開した、実世界のユーザーインターフェース（UI）データセットです。関連する研究論文のタイトルは「人間のデモンストレーションに基づくコンピュータ使用エージェントの基盤目標は、コンピューターと対話できるマルチモーダルインテリジェントエージェントの研究をサポートすることです。

このデータセットには、87のアプリケーションと12のカテゴリをカバーする約56,000枚のデスクトップスクリーンショットが含まれています。専門家レベルの人間によるデモンストレーションに基づいて構築されており、356万件以上の手動で検証された要素レベルの注釈が含まれています。Windows、macOS、Linux、そして様々なクロスプラットフォームソフトウェアを網羅し、生産性向上ツール、コミュニケーションソフトウェア、クリエイティブツール、システムツール、開発環境など、一般的なアプリケーションを網羅しています。データはソフトウェアプラットフォーム別に分類されて保存されるため、スケーラブルなデータ処理パイプラインの構築が容易になります。

データ構成:

• UI スクリーンショット画像 (PNG)
• 要素レベルの注釈付き JSON ファイル:
  • 要素の位置とサイズ（バウンディングボックス）
  • 画面テキストコンテンツ
  • UI機能カテゴリタグ
  • 一意の要素ID