الاستخدام الحاسوبي (Computer Use) يعني أن تتصرف الوكلاء الذكية مثل البشر عند استخدام الحاسوب: تنظر إلى الشاشة، تحرك الفأرة، تكتب على لوحة المفاتيح، وتنتقل بين البرامج، دون الاعتماد على واجهات برمجية مخصصة. تهدف هذه التقنية إلى حل مشكلة "الميل الأخير": فالكثير من البرامج لا توفر واجهات برمجية (API)، أو أن قدرات هذه الواجهات محدودة؛ لذا يجب أن يتصرف الوكيل تماماً كما يفعل الإنسان.

تعود نقطة البداية العلنية للاستخدام الحاسوبي إلى أكتوبر 2024، عندما أطلقت شركة Anthropic قدرة نموذجية جديدة (البيان الرسمي)، حيث يتحكم النموذج في سطح المكتب مباشرة عبر لقطات الشاشة والإحداثيات. وفي الفترة نفسها، قام Xie وزملاؤه في ورقتهم البحثية OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments ببناء أول معيار قابل للتوسع لبيئات حاسوبية حقيقية.

تعتمد طريقة تقييم الاستخدام الحاسوبي على التقييم القائم على التنفيذ. يبني نظام OSWorld بيئات في أنظمة تشغيل حقيقية (Ubuntu، Windows، macOS)، ويقدم 369 مهمة تتراوح بين تطبيقات الويب وسطح المكتب، وقراءة وكتابة الملفات، وربط عدة تطبيقات معاً؛ وكل مهمة مستمدة من سيناريوهات استخدام حقيقية. وعلى عكس التقييمات التي تنظر فقط إلى الإجابة النهائية، يفحص التقييم القائم على التنفيذ حالة النظام بعد إنجاز المهمة، مما يجعله أقرب إلى "إنجاز العمل فعلياً".

تتكون الحلقة التقنية للاستخدام الحاسوبي من دورة "الرؤية—التفكير—النقر": حيث يقوم نموذج متعدد الوسائط بتحويل لقطات الشاشة إلى إحداثيات وإجراءات. وهذا يحول "مهارة استخدام الحاسوب" إلى قدرة قابلة للقياس وقابلة للتكرار، مما يحدد إحداثيات القدرة للمساعدات الرقمية العامة. كما أن التحديات واضحة أيضاً: تحديد موقع عناصر الواجهة (Grounding)، وتراكم الأخطاء في المهام طويلة المدى، والاستعادة بعد فشل العمليات، والمخاطر الأمنية الناتجة عن النقرات أو الحذف الخاطئ.

[JIALIU_0]