SOON : Navigation d'objets orientée scénario avec exploration basée sur les graphes

La capacité à se déplacer comme un humain vers une cible guidée par un langage, depuis n’importe quel point dans un environnement incarné 3D, constitue l’un des objectifs « sacrés » des robots intelligents. Pourtant, la plupart des benchmarks de navigation visuelle se concentrent sur la navigation depuis un point de départ fixe, guidée par une série d’instructions détaillées et étape par étape. Cette approche s’écarte des problèmes réels du monde réel, où un humain ne décrit généralement que l’apparence de l’objet et de son environnement, puis demande au robot de commencer la navigation depuis n’importe quelle position. À cet effet, dans cet article, nous introduisons une nouvelle tâche, appelée Navigation vers un Objet Orientée Scénario (SOON). Dans cette tâche, un agent doit se déplacer depuis une position arbitraire dans un environnement incarné 3D afin de localiser une cible, en se basant sur une description scénaristique. Pour offrir une direction prometteuse afin de résoudre cette tâche, nous proposons une nouvelle méthode d’exploration basée sur les graphes (GBE), qui modélise l’état de navigation sous forme de graphe et introduit une approche originale d’exploration basée sur les graphes, permettant d’apprendre à partir du graphe et de stabiliser l’entraînement en apprenant des trajectoires sous-optimales. Nous proposons également un nouveau benchmark à grande échelle, nommé FAO (From Anywhere to Object), qui vise à éviter toute ambiguïté liée à la cible. Les descriptions du FAO fournissent des informations sémantiques riches, incluant les attributs de l’objet, les relations entre objets, la description de la région et celle des régions voisines. Nos expériences montrent que la méthode GBE proposée surpasser plusieurs méthodes de pointe sur les deux jeux de données FAO et R2R. De plus, les études d’ablation réalisées sur FAO confirment la qualité du dataset.