Apprentissage de la rélocalisation de caméra à vue multiple avec des réseaux neuronaux graphes

Nous proposons de construire un graphe de vue afin d’extraire l’information complète de la séquence donnée pour l’estimation absolue de la pose de la caméra. Plus précisément, nous utilisons des réseaux de neurones graphiques (GNN) pour modéliser ce graphe, permettant ainsi aux cadres non consécutifs de s’échanger mutuellement des informations. Contrairement à une utilisation directe des GNN classiques, nous redéfinissons les nœuds, les arêtes et les fonctions d’encodage afin de mieux adapter le modèle à la tâche de rélocalisation. Les GNN redessinés coopèrent avec les réseaux de neurones convolutifs (CNN) respectivement pour guider la propagation des connaissances et l’extraction de caractéristiques, afin de traiter itérativement des caractéristiques d’images multi-vues de haute dimension à différents niveaux. Par ailleurs, une fonction de perte générale basée sur les graphes, dépassant les contraintes entre vues consécutives, est employée pour entraîner le réseau de manière end-to-end. Des expériences étendues menées sur des jeux de données intérieurs et extérieurs démontrent que notre méthode surpasser les approches précédentes, en particulier dans des scénarios à grande échelle et complexes.