WebWatcher: كسر حدود جديدة لباحث الوسائط البصرية-اللغوية العميق

أظهرت الوكلاء الويب مثل Deep Research قدرات إدراكية تفوق البشر، حيث تمكّنت من حل مشكلات بحثية معلوماتية معقدة للغاية. ومع ذلك، تظل معظم الأبحاث مركّزة بشكل رئيسي على النصوص، مما يؤدي إلى إهمال المعلومات البصرية الموجودة في العالم الحقيقي. وهذا ما يجعل تطوير بحث عميق متعدد الوسائط تحديًا كبيرًا، إذ يتطلب مثل هذه الوكلاء قدرات استدلالية أقوى في مجالات الإدراك، والمنطق، والمعرفة، واستخدام أدوات أكثر تطورًا مقارنة بالوكلاء القائمة على النصوص فقط. وللتغلب على هذا التحدي، نقدّم WebWatcher، وهو وكيل متعدد الوسائط للبحث العميق، يتمتع بقدرات محسّنة في التفكير المتعدد الوسائط (النص والصورة). ويستفيد WebWatcher من مسارات متعددة الوسائط اصطناعية عالية الجودة لتدريبه بكفاءة في المرحلة الأولية (cold start)، ويستخدم مجموعة متنوعة من الأدوات لدعم التفكير العميق، كما يعزز قدرته على التعميم من خلال التعلّم بالتعزيز (reinforcement learning). ولتقييم أداء الوكلاء متعددي الوسائط بشكل أفضل، نقترح BrowseComp-VL، وهو معيار تقييم يعتمد على نمط BrowseComp، ويطلب استخلاص معلومات معقدة تتضمّن معلومات نصية وبصرية معًا. أظهرت النتائج التجريبية أن WebWatcher يتفوّق بشكل ملحوظ على النماذج الأساسية المُشترية (proprietary baseline)، ونماذج تدفق RAG، والوكلاء المفتوحة المصدر في أربع معايير تقييم مُتعددة الوسائط (VQA) صعبة، مما يُمهد الطريق لحل مهام بحث معلوماتية متعددة الوسائط المعقدة.