Point Mamba Sérialisé : Un Modèle de Segmentation de Nuages de Points Sérialisés

La segmentation de nuages de points est cruciale pour la perception visuelle robotique et la compréhension de l'environnement, permettant des applications telles que la navigation robotique et la reconstruction 3D. Cependant, gérer la nature éparsse et non ordonnée des données de nuages de points présente des défis pour une segmentation efficace et précise. Inspirés par le succès du modèle Mamba dans le traitement du langage naturel, nous proposons le modèle de segmentation de nuages de points sérialisés Mamba (Serialized Point Mamba), qui utilise un modèle d'espace d'état pour compresser dynamiquement les séquences, réduire l'utilisation de la mémoire et améliorer l'efficacité computationnelle. Le Serialized Point Mamba intègre des capacités de modélisation locale-globale avec une complexité linéaire, atteignant des performances d'avant-garde sur des ensembles de données tant intérieurs qu'extérieurs. Cette approche inclut des techniques innovantes telles que l'apprentissage séquentiel en plusieurs étapes des nuages de points, le regroupement par grille (grid pooling) et l'Encodage Positionnel Conditionnel (Conditional Positional Encoding), facilitant ainsi une segmentation efficace pour diverses tâches liées aux nuages de points. Notre méthode a obtenu un mIoU de 76,8 % sur Scannet et un mIoU de 70,3 % sur S3DIS. Dans la segmentation d'instances Scannetv2, elle a enregistré un mAP de 40,0 %. Elle présentait également la latence la plus faible et une utilisation raisonnable de la mémoire, ce qui en fait l'état de l'art (SOTA) parmi les modèles de segmentation sémantique basés sur Mamba.