HyperAIHyperAI

Command Palette

Search for a command to run...

Agent Journey Beyond RGB : Révélation des Représentations Environnementales Hybrides Sémantico-Spatiales pour la Navigation Vision-Langage

Xuesong Zhang Yunbo Xu Jia Li Zhenzhen Hu Richnag Hong

Résumé

La navigation dans des environnements inconnus basée sur des instructions en langage naturel reste un défi pour les agents égocentriques dans la Navigation Vision-Langue (VLN). Les approches actuelles s'appuient principalement sur des images RGB pour représenter l'environnement, sous-exploitant les indices sémantiques et spatiaux latents et laissant le fossé modal entre les instructions et les représentations environnementales rares non résolu. Intuitivement, les humains ancrent naturellement leurs connaissances sémantiques dans les dispositions spatiales lors de la navigation en intérieur. Inspirés par ce constat, nous proposons une architecture polyvalente de Compréhension Sémantique et Conscience Spatiale (SUSA) afin d'encourager les agents à ancrer l'environnement sous différents angles. SUSA comprend un module de Compréhension Sémantique Textuelle (TSU), qui réduit le fossé modal entre les instructions et l'environnement en générant et associant des descriptions des repères environnementaux immédiats aux alentours de l'agent. De plus, un module de Perception Spatiale Améliorée par la Profondeur (DSP) construit progressivement une carte d'exploration en profondeur, permettant une compréhension plus nuancée des dispositions environnementales. Les expériences montrent que les représentations hybrides sémantico-spatiales de SUSA améliorent efficacement les performances de navigation, établissant de nouveaux records sur trois benchmarks VLN (REVERIE, R2R et SOON). Le code source sera rendu publiquement disponible.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp