Agent de navigation auto-surveillant par estimation auxiliaire de la progression

La tâche de Navigation Vision-Langage (VLN) consiste en un agent qui suit des instructions de navigation dans des environnements inconnus et photo-réalistes. Cette tâche exigeante nécessite que l'agent soit conscient de l'instruction accomplie, de l'instruction requise pour la prochaine action, de la direction à suivre et de sa progression vers l'objectif. Dans cet article, nous présentons un agent auto-surveillant doté de deux composants complémentaires : (1) un module de co-ancrage visuel-textuel pour localiser l'instruction déjà réalisée, celle nécessaire pour la prochaine action et la direction du mouvement suivant parmi les images environnantes, et (2) un moniteur de progression pour s'assurer que l'instruction ancrée reflète correctement la progression de la navigation. Nous évaluons notre agent auto-surveillant sur un banc d'essai standard et analysons notre approche proposée à travers une série d'études d'ablation qui clarifient les contributions des composants principaux. En utilisant notre méthode proposée, nous établissons un nouveau niveau d'excellence avec une marge significative (augmentation absolue de 8 % du taux de réussite sur l'ensemble de tests non vu). Le code est disponible à l'adresse https://github.com/chihyaoma/selfmonitoring-agent .