GroundCUA ist ein Datensatz realer Benutzeroberflächen (UI), der 2025 vom Mila Quebec Artificial Intelligence Institute in Zusammenarbeit mit der McGill University, der Universität Montreal und anderen Institutionen veröffentlicht wurde. Die zugehörige Forschungsarbeit trägt den Titel „Verankerung von Computernutzungsagenten an menschlichen DemonstrationenZiel ist es, die Forschung an multimodalen intelligenten Agenten zu unterstützen, die mit Computern interagieren können.

Dieser Datensatz umfasst ca. 56.000 Desktop-Screenshots aus 87 Anwendungen und 12 Kategorien. Er basiert auf Expertenvorführungen und beinhaltet über 3,56 Millionen manuell verifizierte Element-Annotationen. Der Datensatz deckt Windows, macOS, Linux und diverse plattformübergreifende Software ab und umfasst gängige Anwendungen wie Produktivitäts-, Kommunikations-, Kreativ- und Systemtools sowie Entwicklungsumgebungen. Die Daten sind nach Softwareplattform kategorisiert gespeichert und ermöglichen so den Aufbau skalierbarer Datenverarbeitungspipelines.

Datenzusammensetzung:

• Screenshot der Benutzeroberfläche (PNG)
• JSON-Datei mit Elementannotationen:
  • Elementposition und -größe (Begrenzungsrahmen)
  • Bildschirmtextinhalt
  • UI-Funktionskategorie-Tags
  • Eindeutige Element-ID