أغوفيس: وكالات رؤية نقية موحدة للتفاعل مع واجهة المستخدم الرسومية بشكل مستقل

تظل مهام تلقية واجهات المستخدم الرسومية (GUI) تحديًا بسبب الاعتماد على التمثيلات النصية، مساحات الأنشطة الخاصة بالمنصة، وقدرات الاستدلال المحدودة. نقدم Aguvis، إطار عمل موحد مستند إلى الرؤية لعملاء واجهة المستخدم الرسومية المستقلين، يعمل مباشرة على صور الشاشة، ويقوم بتوحيد التفاعلات عبر المنصات المختلفة ويضم استدلالًا منظمًا عبر الحوار الداخلي. لتمكين هذا الإطار العمل، قمنا ببناء مجموعة بيانات Aguvis Data Collection على نطاق واسع تحتوي على توضيحات للربط المتعدد الوسائط والاستدلال، وتطوير أنبوب تدريب ذو مرحلتين يفصل بين ربط واجهة المستخدم الرسومية والتخطيط والاستدلال. أظهرت التجارب أن Aguvis يحقق أداءً في الطليعة في مقاييس الأداء المغفلة والمعيشة الحقيقية عبر الإنترنت، مما يمثل أول وكيل رؤيوي مستقل تمامًا لواجهة المست用戶 الرسومية يعمل دون الحاجة إلى نماذج مغلقة المصدر. نحن نوفر جميع المجموعات البيانات والنماذج ووصفات التدريب كمصدر مفتوح في https://aguvis-project.github.io لتعزيز البحث المستقبلي.注：在最后一句中，“مستخدم”被误写为“مست用戶”，这可能是由于输入错误。正确的应该是“مستخدم”。因此，最终翻译应为：نوفّر جميع المجموعات البيانات والنماذج ووصفات التدريب كمصدر مفتوح في https://aguvis-project.github.io لتعزيز البحث المستقبلي.