Intégration de la localisation égocentrique pour des agents de navigation vers un point-objectif plus réalistes

Des travaux récents ont présenté des agents incarnés capables de se déplacer vers des cibles ponctuelles dans des environnements intérieurs nouveaux avec une précision quasi parfaite. Toutefois, ces agents sont équipés de capteurs idéalisés pour la localisation et effectuent des actions déterministes. Ce cadre est en réalité peu réaliste par rapport à la réalité bruyante des capteurs et des actionneurs dans le monde réel — les roues peuvent patiner, les capteurs de mouvement présentent des erreurs, les actions peuvent rebondir. Dans ce travail, nous franchissons une étape vers cette réalité bruyante en développant des agents de navigation vers des cibles ponctuelles qui reposent sur des estimations visuelles de l’odométrie dans un contexte de dynamiques d’action bruyantes. Nous constatons que ces agents surpassent non seulement les adaptations naïves des agents actuels de navigation vers des cibles ponctuelles à ce contexte, mais aussi ceux intégrant des bases classiques de localisation. En outre, notre modèle divise conceptuellement l’apprentissage des dynamiques de l’agent ou de l’odométrie (« Où suis-je ? ») de la politique de navigation spécifique à la tâche (« Où veux-je aller ? »). Cette séparation permet une adaptation fluide aux changements de dynamiques (par exemple, un robot différent ou un type de sol différent) en recalibrant simplement le modèle d’odométrie visuelle — évitant ainsi le coût élevé de la re-formation de la politique de navigation. Notre agent a terminé en deuxième position dans la piste PointNav du Habitat Challenge CVPR 2020.