SuperGlue : Apprentissage de l'appariement des caractéristiques avec des réseaux neuronaux graphiques

Ce document présente SuperGlue, un réseau neuronal qui fait correspondre deux ensembles de caractéristiques locales en trouvant conjointement des correspondances et en rejetant les points non-mappables. Les affectations sont estimées en résolvant un problème de transport optimal différentiable, dont les coûts sont prédits par un réseau neuronal à base de graphe. Nous introduisons un mécanisme flexible d'agrégation de contexte basé sur l'attention, permettant à SuperGlue de raisonner simultanément sur la scène 3D sous-jacente et les affectations de caractéristiques. Comparée aux heuristiques traditionnelles conçues manuellement, notre technique apprend des a priori sur les transformations géométriques et les régularités du monde 3D grâce à une formation de bout en bout à partir de paires d'images. SuperGlue surpasses d'autres approches apprises et obtient des résultats d'état de l'art pour la tâche d'estimation de pose dans des environnements réels difficiles, tant intérieurs qu'extérieurs. La méthode proposée effectue le processus de correspondance en temps réel sur une GPU moderne et peut être facilement intégrée dans des systèmes SfM (Structure from Motion) ou SLAM (Simultaneous Localization and Mapping) modernes. Le code source et les poids entraînés sont disponibles au public sur https://github.com/magicleap/SuperGluePretrainedNetwork.