CrossLoc3D : Reconnaissance croisée aéro-terrestre de lieux en 3D

Nous présentons CrossLoc3D, une nouvelle méthode de reconnaissance de lieux en 3D qui résout un problème d'appariement de points à grande échelle dans un contexte multi-sources. Les données de nuages de points multi-sources correspondent à des ensembles de points capturés par des capteurs de profondeur avec différentes précisions ou à partir de différentes distances et perspectives. Nous abordons les défis liés au développement de méthodes de reconnaissance de lieux en 3D qui prennent en compte l'écart de représentation entre les points capturés par différentes sources. Notre méthode gère les données multi-sources en utilisant des caractéristiques multi-granulaires et en sélectionnant des tailles de noyaux de convolution correspondant aux caractéristiques les plus saillantes.Inspirée par les modèles de diffusion, notre méthode utilise un processus d'affinement itératif novateur qui ajuste progressivement les espaces d'embedding provenant de différentes sources vers un espace canonique unique pour une meilleure apprentissage métrique. De plus, nous présentons CS-Campus3D, le premier jeu de données aéro-terrestre multi-sources en 3D composé de données de nuages de points issues à la fois d'images aériennes et terrestres capturées par LiDAR. Les nuages de points dans CS-Campus3D présentent des écarts de représentation ainsi que d'autres particularités telles que des vues différentes, des densités ponctuelles variées et des motifs bruités.Nous démontrons que notre algorithme CrossLoc3D peut améliorer le rappel moyen du top 1 sur notre benchmark CS-Campus3D d'un taux compris entre 4,74% et 15,37%, et atteint des performances comparables aux méthodes actuelles les plus avancées en matière de reconnaissance de lieux en 3D sur le dataset Oxford RobotCar. Le code source et le benchmark CS-Campus3D seront disponibles sur github.com/rayguan97/crossloc3d.