GroundCUA هي مجموعة بيانات لواجهات المستخدم (UI) في العالم الحقيقي، أصدرها معهد ميلا كيبيك للذكاء الاصطناعي عام ٢٠٢٥ بالتعاون مع جامعة ماكجيل وجامعة مونتريال ومؤسسات أخرى. عنوان البحث ذي الصلة هو "تأريض وكلاء استخدام الكمبيوتر على المظاهرات البشريةالهدف هو دعم الأبحاث حول العوامل الذكية المتعددة الوسائط التي يمكنها التفاعل مع أجهزة الكمبيوتر.

تحتوي هذه المجموعة من البيانات على ما يقارب 56,000 لقطة شاشة لسطح المكتب، تغطي 87 تطبيقًا و12 فئة. بُنيت هذه المجموعة على عروض توضيحية بشرية على مستوى الخبراء، وتتضمن أكثر من 3.56 مليون تعليق توضيحي على مستوى العناصر مُتحقق منه يدويًا. تشمل أنظمة Windows وmacOS وLinux، بالإضافة إلى برامج متعددة المنصات، وتغطي تطبيقات شائعة مثل أدوات الإنتاجية، وبرامج الاتصال، والأدوات الإبداعية، وأدوات النظام، وبيئات التطوير. تُخزّن البيانات مُصنّفة حسب منصة البرنامج، مما يُسهّل بناء قنوات معالجة بيانات قابلة للتطوير.

تكوين البيانات:

• صورة لقطة شاشة لواجهة المستخدم (PNG)
• ملفات JSON الموضحة على مستوى العناصر:
  • موضع العنصر وحجمه (المربع المحدد)
  • محتوى نص الشاشة
  • علامات فئة وظيفة واجهة المستخدم
  • معرف العنصر الفريد