Navigation basée sur la vision avec assistance linguistique

La navigation basée sur la vision avec l'assistance linguistique est une tâche qui combine la perception visuelle et les directives linguistiques, dans le but de guider un agent pour trouver des objets spécifiques dans des environnements intérieurs réalistes à travers des objectifs linguistiques de haut niveau. Cette tâche simule des scénarios du monde réel où le demandeur ne fournit que des objectifs de haut niveau, et l'agent peut interroger activement un conseiller plus expérimenté pour obtenir des sous-objectifs linguistiques concrets lorsqu'il se perd, permettant ainsi de poursuivre le processus de navigation. Cette technologie présente une valeur d'application considérable pour améliorer l'autonomie et les capacités interactives des robots.