الملخص

يتطلب تدريب الوكلاء المستخدمين للحاسوب كمًّا هائلاً من بيانات التفاعل مع واجهة المستخدم الرسومية (GUI)، لكن تannotated مسارات الإجراءات يدويًا على نطاق واسع يُعدّ مكلفًا بشكل لا يُحتمل. نقدّم "VideoAgentTrek"، وهو خط أنابيب قابل للتوسع، يُعدّ مُعدّلًا تلقائيًا لاستخراج بيانات التدريب من مقاطع الفيديو المسجّلة علنًا على الإنترنت بحجم واسع، ما يُلغِي الحاجة إلى التحديد اليدوي. تُعدّ المعضلة الأساسية التي نعالجها هي أن مقاطع الفيديو الخام تحتوي على أمثلة غير صريحة، لكنها تفتقر إلى تسميات إجراءات صريحة. لحل هذه المشكلة، نطوّر "Video2Action"، وهو وحدة ديناميات عكسية (IDM) مكوّنة من مكونين: (1) نموذج ترسيخ الفيديو، الذي يُحدِّد ويُحدِّد مكانيًا وزمانيًا دقيقًا إجراءات واجهة المستخدم الرسومية مع سياقها، و(2) مُعرِّف محتوى الإجراءات، الذي يستخرج بجودة عالية معلمات منظَّمة مثل إحداثيات النقر ونصوص الإدخال. عند تطبيقه على 39,000 مقطعًا تعليميًا من يوتيوب، يُولِّد خط أنابيبنا 1.52 مليون خطوة تفاعل تلقائيًا. نستفيد من هذه البيانات من خلال التدريب المُستمر (continued pretraining) متبوعًا بتعديل مُراقب. على معيار OSWorld-Verified، ترتفع معدلات نجاح المهام من 9.3% (النقطة المرجعية لـ SFT فقط) إلى 15.8%، أي بزيادة نسبية قدرها 70%. وعلى معيار AgentNetBench، ترتفع دقة الخطوات من 64.1% إلى 69.3%. تُظهر نتائجنا أن مقاطع الفيديو المُتاحة ب(passive internet videos) يمكن تحويلها إلى مراقبة عالية الجودة لولاءات استخدام الحاسوب، مما يُقدّم بديلاً قابلاً للتوسع بدلًا من التحديد اليدوي المكلف.