نموذج BERT متكرر يعتمد على الرؤية واللغة للتنقل

أظهرت العديد من المهام البصرية اللغوية تحسناً ملحوظاً في الدقة بفضل تطبيق نموذج BERT البصري واللغوي (V&L BERT). ومع ذلك، لا يزال تطبيقه في مهمة التوجيه البصري واللغوي (VLN) محدوداً إلى حدٍ ما. ويعود السبب في ذلك جزئياً إلى الصعوبة المتمثلة في تكييف بنية BERT مع عملية اتخاذ القرار الماركوفية الجزئية الملاحظة الموجودة في VLN، التي تتطلب انتباهاً واتخاذ قرارات يعتمدان على السجل الزمني. في هذه الورقة، نقترح نموذجاً تكرارياً (Recurrent) لـ BERT يراعي العامل الزمني، وذلك للاستخدام في VLN. وبشكل خاص، نزود نموذج BERT بوظيفة تكرارية تُحافظ على معلومات الحالة عبر الوسائط المختلفة للوكيل. ومن خلال تجارب واسعة على مجموعتي البيانات R2R وREVERIE، نُظهر أن نموذجنا يمكنه استبدال النماذج المعقدة من نوع المشفر-الDecoder لتحقيق نتائج من الطراز الأول. علاوةً على ذلك، يمكن تعميم منهجنا على هياكل أخرى تعتمد على المُحَوِّل (Transformer)، ويُدعم التدريب المسبق (pre-training)، ويُمكنه حل مهام التوجيه ومهام التعبير المُشير في آنٍ واحد.