الرجوع التكتيكي: التصحيح الذاتي عبر الرجوع في التنقل البصري واللغوي

نقدم نظام التصفح المدرك للحدود مع العودة إلى الوراء (FAST Navigator)، وهو إطار عام لفك تشفير الأفعال، يحقق نتائج متميزة على تحدي التنقل بين الغرف باستخدام الرؤية واللغة (R2R) الذي طرحه أندرسون وآخرون (2018). بالاعتماد على تعليمات اللغة الطبيعية وصور ثلاثية الأبعاد واقعية لمحيط غير معروف سابقًا، كان على الوكيل المهمة بتصفح من الموقع المصدر إلى الموقع الهدف بأسرع وقت ممكن. بينما تقوم جميع النهج الحالية باتخاذ قرارات أفعال محلية أو تقييم المسارات الكاملة باستخدام البحث الشعاعي، فإن نهجنا يوازن بين الإشارات المحلية والعالمية عند استكشاف بيئة غير مشاهدة سابقًا. وبشكل مهم، هذا يسمح لنا بالعمل بطريقة جشعة ولكن استخدام الإشارات العالمية للعودة إلى الوراء عند الحاجة. تطبيق إطار FAST على النماذج المتميزة الحالية حقق زيادة نسبتها 17% بشكل نسبي، وزيادة مطلقة بنسبة 6% في معدل النجاح المرتبط بطول المسار (SPL).