استخدام واجهة المستخدم الرسومية (GUI) للتفاعل بين الإنسان والحاسوب ضروري للوصول إلى مجموعة واسعة من الأدوات الرقمية. تشير التطورات الحديثة في نماذج اللغة المرئية (VLMs) إلى القدرة المقنعة على تطوير وكلاء متعددي الاستخدامات لمساعدة البشر في إنجاز مهام التنقل عبر واجهة المستخدم الرسومية. ومع ذلك، فإن النماذج الحالية للغة المرئية تواجه تحديات فيما يتعلق بالقدرات الأساسية (التعرف الضوئي على الحروف OCR والتثبيت grounding) ومعرفة واجهة المستخدم الرسومية (وظائف وأساليب التحكم في عناصر GUI)، مما يمنعها من أن تصبح وكلاء GUI عملية. لحل هذه التحديات، نقدم حزمة GUICourse من قواعد البيانات لتدريب وكلاء GUI المرتكزة على الصور من النماذج العامة للغة المرئية. أولاً، نقدم مجموعة بيانات GUIEnv لتقوية قدرات OCR والتثبيت في نماذج اللغة المرئية. ثانياً، نقدم مجموعة بيانات GUIAct وGUIChat لتعميق معرفتها بعناصر واجهة المستخدم الرسومية والتفاعلات. تظهر التجارب أن وكيلنا لـ GUI أداء أفضل في المهام الشائعة لـ GUI مقارنة بنماذج اللغة المرئية الأساسية. وحتى وكيل GUI ذو الحجم الصغير (مع 3.1 مليار معامل) يمكنه العمل بشكل جيد في المهام ذات الخطوة الواحدة والمهام المتعددة الخطوات. أخيراً، نقوم بتحليل الاختلافات المختلفة في مرحلة التدريب لهذا الوكيل من خلال دراسة الإلغاء الجزئي (ablation study). تم إطلاق كودنا المصدر وقواعد بياناتنا على الرابط https://github.com/yiye3/GUICourse.