Transformateur de nuages de points en pyramide pour la reconnaissance d'endroits à grande échelle

Récemment, les descripteurs basés sur l’apprentissage profond pour les nuages de points ont obtenu des résultats remarquables dans la tâche de reconnaissance d’endroits. Toutefois, en raison de la sparsité intrinsèque des nuages de points, il reste un défi majeur d’extraire efficacement des caractéristiques locales discriminantes afin de construire des descripteurs globaux performants. Dans cet article, nous proposons un réseau de transformateur de nuages de points en pyramide (PPT-Net) pour apprendre des descripteurs globaux discriminants à partir de nuages de points, visant une récupération efficace. Plus précisément, nous introduisons tout d’abord un module de transformateur de nuages de points en pyramide, qui apprend de manière adaptative les relations spatiales entre les différents graphes locaux k-NN des nuages de points. Pour extraire des caractéristiques locales discriminantes, nous proposons une attention groupée. Cette attention groupée renforce non seulement les dépendances à long terme au sein des nuages de points, mais réduit également le coût computationnel. Afin d’obtenir des descripteurs globaux discriminants, nous concevons un module VLAD en pyramide pour agréger les cartes de caractéristiques multi-échelles en descripteurs globaux. En appliquant un pooling VLAD sur les cartes de caractéristiques multi-échelles, nous utilisons un mécanisme de porte contextuelle sur les différents descripteurs globaux afin d’ajuster de manière adaptative l’information contextuelle globale multi-échelle dans le descripteur global final. Les résultats expérimentaux sur le jeu de données Oxford ainsi que sur trois jeux de données internes montrent que notre méthode atteint l’état de l’art dans la reconnaissance d’endroits basée sur les nuages de points. Le code est disponible à l’adresse suivante : https://github.com/fpthink/PPT-Net.