VIKI-R: تنسيق التعاون بين الوكلاء المتجسدين متعددي الأطراف من خلال التعلم التعزيزي

تنسيق الوكلاء المادية المتعددين في البيئات الديناميكية يظل تحديًا أساسيًا في الذكاء الاصطناعي، حيث يتطلب ذلك الاستدلال القائم على الإدراك واستراتيجيات تعاون قابلة للتوسع. بينما استغلت الأعمال الحديثة نماذج اللغة الكبيرة (LLMs) للتخطيط متعدد الوكلاء، فقد بدأ البعض مؤخرًا في استكشاف نماذج الرؤية-اللغة (VLMs) للاستدلال البصري. ومع ذلك، تظل هذه النماذج القائمة على VLM محدودة في دعمها لأنواع مختلفة من التمثيل المادي. في هذا العمل، نقدم VIKI-Bench، أول معيار هرمي مصمم خصيصًا للتعاون متعدد الوكلاء المادية، والذي يشمل ثلاث مستويات منظمة: تنشيط الوكيل، تخطيط المهمة، وإدراك المسار. يحتوي VIKI-Bench على تمثيلات روبوتية متنوعة، وملاحظات بصرية متعددة الزوايا، و-signals إشراف منظم لتقييم الاستدلال المستند إلى المدخلات البصرية. لبيان فائدة VIKI-Bench، نقترح VIKI-R، إطار عمل ذو مرحلتين يقوم بتغليظ نموذج الرؤية-اللغة (VLM) المُدرَّب مسبقًا باستخدام عروض مشاهدة محملة بـ Chain-of-Thought (سلسلة الفكر)، ثم تعليم التقوية تحت إشارات جوائز متعددة المستويات. تظهر تجاربنا الشاملة أن VIKI-R يتفوق بشكل كبير على طرق الأساس عبر جميع مستويات المهام. بالإضافة إلى ذلك، نوضح أن تعليم التقوية يمكنه تحقيق ظهور أنماط تعاون تركيبية بين الوكلاء غير المتجانسة. معًا، يقدم VIKI-Bench وVIKI-R منصة اختبار ومنهجية موحدة لتطوير التعاون متعدد الوكلاء والمستند إلى الرؤية في أنظمة الذكاء الاصطناعي المادية.