HyperAIHyperAI

Command Palette

Search for a command to run...

SOON : Navigation d'objets orientée scénario avec exploration basée sur les graphes

Fengda Zhu Xiwen Liang Yi Zhu Xiaojun Chang Xiaodan Liang

Résumé

La capacité à se déplacer comme un humain vers une cible guidée par un langage, depuis n’importe quel point dans un environnement incarné 3D, constitue l’un des objectifs « sacrés » des robots intelligents. Pourtant, la plupart des benchmarks de navigation visuelle se concentrent sur la navigation depuis un point de départ fixe, guidée par une série d’instructions détaillées et étape par étape. Cette approche s’écarte des problèmes réels du monde réel, où un humain ne décrit généralement que l’apparence de l’objet et de son environnement, puis demande au robot de commencer la navigation depuis n’importe quelle position. À cet effet, dans cet article, nous introduisons une nouvelle tâche, appelée Navigation vers un Objet Orientée Scénario (SOON). Dans cette tâche, un agent doit se déplacer depuis une position arbitraire dans un environnement incarné 3D afin de localiser une cible, en se basant sur une description scénaristique. Pour offrir une direction prometteuse afin de résoudre cette tâche, nous proposons une nouvelle méthode d’exploration basée sur les graphes (GBE), qui modélise l’état de navigation sous forme de graphe et introduit une approche originale d’exploration basée sur les graphes, permettant d’apprendre à partir du graphe et de stabiliser l’entraînement en apprenant des trajectoires sous-optimales. Nous proposons également un nouveau benchmark à grande échelle, nommé FAO (From Anywhere to Object), qui vise à éviter toute ambiguïté liée à la cible. Les descriptions du FAO fournissent des informations sémantiques riches, incluant les attributs de l’objet, les relations entre objets, la description de la région et celle des régions voisines. Nos expériences montrent que la méthode GBE proposée surpasser plusieurs méthodes de pointe sur les deux jeux de données FAO et R2R. De plus, les études d’ablation réalisées sur FAO confirment la qualité du dataset.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp