GroundCUA는 밀라 퀘벡 인공지능 연구소(Mila Quebec Artificial Intelligence Institute)가 맥길 대학교, 몬트리올 대학교 및 기타 기관들과 협력하여 2025년에 공개한 실제 사용자 인터페이스(UI) 데이터셋입니다. 관련 연구 논문의 제목은 "인간 시연에서 컴퓨터 사용 에이전트 접지목표는 컴퓨터와 상호작용할 수 있는 다중 모드 지능형 에이전트에 대한 연구를 지원하는 것입니다. 이 데이터 세트는 약 56,000개의 데스크톱 스크린샷을 포함하고 있으며, 87개의 애플리케이션과 12개 카테고리를 포괄합니다. 전문가 수준의 실제 시연을 기반으로 구축되었으며, 356만 개 이상의 수동으로 검증된 요소 수준 주석을 포함합니다. Windows, macOS, Linux 및 다양한 크로스 플랫폼 소프트웨어를 포괄하며, 생산성 도구, 커뮤니케이션 소프트웨어, 크리에이티브 도구, 시스템 도구 및 개발 환경과 같은 일반적인 애플리케이션을 포함합니다. 데이터는 소프트웨어 플랫폼별로 분류되어 저장되므로 확장 가능한 데이터 처리 파이프라인 구축이 용이합니다.

데이터 구성:

• UI 스크린샷 이미지(PNG)
• 요소 수준 주석이 달린 JSON 파일:

• 요소 위치 및 크기(경계 상자)
• 화면 텍스트 콘텐츠
• UI 기능 카테고리 태그
• 고유 요소 ID