HyperAIHyperAI

Command Palette

Search for a command to run...

Agent de navigation auto-surveillant par estimation auxiliaire de la progression

Chih-Yao Ma* Jiasen Lu* Zuxuan Wu* Ghassan AlRegib† Zsolt Kira† Richard Socher§ Caiming Xiong§

Résumé

La tâche de Navigation Vision-Langage (VLN) consiste en un agent qui suit des instructions de navigation dans des environnements inconnus et photo-réalistes. Cette tâche exigeante nécessite que l'agent soit conscient de l'instruction accomplie, de l'instruction requise pour la prochaine action, de la direction à suivre et de sa progression vers l'objectif. Dans cet article, nous présentons un agent auto-surveillant doté de deux composants complémentaires : (1) un module de co-ancrage visuel-textuel pour localiser l'instruction déjà réalisée, celle nécessaire pour la prochaine action et la direction du mouvement suivant parmi les images environnantes, et (2) un moniteur de progression pour s'assurer que l'instruction ancrée reflète correctement la progression de la navigation. Nous évaluons notre agent auto-surveillant sur un banc d'essai standard et analysons notre approche proposée à travers une série d'études d'ablation qui clarifient les contributions des composants principaux. En utilisant notre méthode proposée, nous établissons un nouveau niveau d'excellence avec une marge significative (augmentation absolue de 8 % du taux de réussite sur l'ensemble de tests non vu). Le code est disponible à l'adresse https://github.com/chihyaoma/selfmonitoring-agent .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp