الملخص

تظل مسألة بناء وكالات قادرة على التعميم عبر بيئات الويب والسطحية والهاتف المحمول تحديًا مفتوحًا، نظرًا لأن الأنظمة السابقة تعتمد على واجهات محددة لكل بيئة، مما يحد من قدرتها على النشر عبر منصات متعددة. نقدّم "سورفِر 2" (Surfer 2)، وهي معمارية موحّدة تعمل بالكامل من خلال الملاحظات البصرية، وتُحقّق أداءً متفوّقًا على مستوى الحد الأقصى في جميع البيئات الثلاث. يدمج سورفِر 2 إدارة هرمية للسياق، وفصلًا بين التخطيط والتنفيذ، وتحقق ذاتيًا مع قدرة تلقائية على الاسترداد، ما يمكّنها من الأداء الموثوق على فترات مهام طويلة. تصل دقة نظامنا إلى 97.1% في معيار WebVoyager، و69.6% في WebArena، و60.1% في OSWorld، و87.1% في AndroidWorld، متفوّقًا على جميع الأنظمة السابقة دون الحاجة إلى ضبط مخصص لكل مهمة. وباستخدام محاولات متعددة، يتجاوز سورفِر 2 الأداء البشري في جميع المعايير. تُظهر هذه النتائج أن التكامل المنهجي يُضاعف قدرات النماذج الأساسية، ويجعل من الممكن التحكم في الحاسوب بجميع أهدافه من خلال التفاعل البصري وحده، في الوقت الذي يُبرز فيه الحاجة إلى نموذج لغوي بصري من الجيل التالي لتحقيق التوازن المثالي بين التكلفة والكفاءة.