Pamba : Amélioration de l'interaction globale dans les nuages de points par le biais d'un modèle d'espace d'état

Les Transformers ont démontré des résultats impressionnants pour la segmentation sémantique des nuages de points 3D. Cependant, la complexité quadratique des Transformers entraîne des coûts de calcul élevés, limitant le nombre de points qui peuvent être traités simultanément et entravant la modélisation des dépendances à longue portée entre les objets dans une scène unique. Inspirés par le grand potentiel des modèles d'espace d'état (SSM) récents pour la modélisation de séquences longues, nous introduisons Mamba, une architecture basée sur les SSM, au domaine des nuages de points et proposons Pamba, une nouvelle architecture dotée d'une forte capacité de modélisation globale sous une complexité linéaire. Plus précisément, afin d'adapter le désordre inhérent aux nuages de points à la nature causale de Mamba, nous proposons une stratégie de sérialisation multi-chemin applicable aux nuages de points. De plus, nous introduisons le bloc ConvMamba pour compenser les lacunes de Mamba en matière de modélisation des géométries locales et de modélisation unidirectionnelle. Pamba obtient des résultats d'état de l'art sur plusieurs tâches de segmentation de nuages de points 3D, notamment ScanNet v2, ScanNet200, S3DIS et nuScenes, tandis que son efficacité est validée par des expériences approfondies.