الملخص

أظهرت نماذج الرؤية واللغة (VLMs) إمكانية تطوير وكالات استخدام الحاسوب (CUAs) التي تعمل بشكل مستقل على واجهات المستخدم الرسومية (GUIs)، مما يُظهر إمكانات كبيرة، إلا أن التقدم يواجه قيودًا بسبب نقص البيانات الواسعة النطاق والموصوفة مفتوحة المصدر المتعلقة باستخدام الحاسوب، فضلاً عن النماذج الأساسية المتوفرة. في هذا العمل، نقدّم ScaleCUA، خطوة نحو تكبير وكالات استخدام الحاسوب المفتوحة المصدر. يوفر ScaleCUA مجموعة بيانات واسعة النطاق تغطي 6 أنظمة تشغيل و3 مجالات مهام، تم بناؤها من خلال خط أنابيب مغلق يدمج بين الوكالات الآلية والخبراء البشريين. وبتدريب النموذج على هذه البيانات الموسعة، أصبح ScaleCUA قادرًا على الأداء السلس عبر المنصات المختلفة. وبشكل خاص، حقق تحسينات كبيرة مقارنة بالأساليب الأساسية (بزيادة قدرها +26.6 على WebArena-Lite-v2، و+10.7 على ScreenSpot-Pro)، كما سجّل نتائج جديدة قياسية (94.4% على MMBench-GUI L1-Hard، و60.6% على OSWorld-G، و47.4% على WebArena-Lite-v2). تُبرز هذه النتائج قوة التوسع القائم على البيانات لتطوير وكالات استخدام الحاسوب متعددة الاستخدامات. وسنقوم بالإفراج عن البيانات والنماذج والكود لدعم الأبحاث المستقبلية: https://github.com/OpenGVLab/ScaleCUA.