Apprentissage de cartes prenant en compte la géométrie pour la localisation de caméra

Les cartes sont un élément clé dans la localisation des caméras basée sur les images et dans les systèmes de SLAM visuel : elles sont utilisées pour établir des contraintes géométriques entre les images, corriger le décalage dans l'estimation de la pose relative et rélocaliser les caméras après une perte de suivi. Cependant, les définitions exactes des cartes sont souvent spécifiques à l'application et conçues manuellement pour différents scénarios (par exemple, points d'intérêt 3D, lignes, plans, sacs de mots visuels). Nous proposons de représenter les cartes par un réseau neuronal profond appelé MapNet, qui permet d'apprendre une représentation de carte basée sur les données. Contrairement aux travaux précédents sur l'apprentissage des cartes, MapNet exploite des entrées sensorielles bon marché et omniprésentes telles que l'odométrie visuelle et le GPS en plus des images et les fusionne pour la localisation des caméras. Les contraintes géométriques exprimées par ces entrées, qui ont traditionnellement été utilisées dans l'ajustement de bundle ou l'optimisation de graphes de poses, sont formulées comme termes de perte lors de l'entraînement de MapNet et également utilisées pendant l'inférence. En plus d'améliorer directement la précision de la localisation, cela nous permet de mettre à jour MapNet (c'est-à-dire les cartes) d'une manière auto-supervisée en utilisant des séquences vidéo supplémentaires non étiquetées provenant de la scène. Nous proposons également une nouvelle paramétrisation pour la rotation des caméras qui est mieux adaptée à la régression de pose basée sur l'apprentissage profond. Les résultats expérimentaux sur le jeu de données 7-Scenes en intérieur et le jeu de données Oxford RobotCar en extérieur montrent une amélioration significative par rapport aux travaux antérieurs. La page web du projet MapNet est https://goo.gl/mRB3Au.