التنقل بالرؤية والحوار

يجب على الروبوتات التي تتنقل في بيئات البشر استخدام اللغة لطلب المساعدة والقدرة على فهم استجابات البشر. لدراسة هذا التحدي، نقدم مجموعة بيانات Cooperative Vision-and-Dialog Navigation (التنقل التعاوني بالرؤية والحوار)، وهي تتضمن أكثر من 2000 حوار بشري-بشري متجسد في بيئات منزلية محاكاة وذات صور واقعية. يسأل الملاحي (الراحل) أسئلة لشريكه، العرّاف (المُعلِم)، الذي لديه حق الوصول المميز إلى الخطوات التالية الأفضل التي يجب أن يتخذها الملاحي وفقًا لمخطط أقصر المسارات. لتدريب الوكلاء الذين يبحثون عن موقع الهدف في البيئة، نحدد مهمة التنقل من تاريخ الحوار. يجب على الوكيل، عند إعطائه كائن الهدف وتاريخ حوار بين البشر الذين يعملون معًا للعثور على ذلك الكائن، أن يستنتج الإجراءات التنقلية نحو الهدف في بيئات غير مستكشفة. نقوم بإنشاء نموذج أولي متعدد الوسائط للتوالي إلى التوالي ويظهر أن النظر إلى ما هو أبعد في تاريخ الحوار يحسن الأداء. يمكن العثور على الشفرة المصدرية وواجهة توضيحية حية على الرابط https://cvdn.dev/