Mamba3D : Amélioration des caractéristiques locales pour l'analyse de nuages de points 3D par modèle d'espace d'état

Les modèles existants basés sur les Transformers pour l'analyse des nuages de points souffrent d'une complexité quadratique, ce qui entraîne une résolution compromise des nuages de points et une perte d'informations. En revanche, le nouveau modèle Mamba, basé sur les modèles d'espace d'état (SSM), surpasse les Transformers dans plusieurs domaines avec une complexité linéaire uniquement. Cependant, l'adoption directe du modèle Mamba ne permet pas d'atteindre des performances satisfaisantes sur les tâches liées aux nuages de points. Dans cette étude, nous présentons Mamba3D, un modèle d'espace d'état adapté à l'apprentissage des nuages de points afin d'améliorer l'extraction de caractéristiques locales, offrant ainsi des performances supérieures, une efficacité élevée et un potentiel de scalabilité. Plus précisément, nous proposons un bloc Local Norm Pooling (LNP) simple mais efficace pour extraire les caractéristiques géométriques locales. De plus, pour obtenir de meilleures caractéristiques globales, nous introduisons un SSM bidirectionnel (bi-SSM) comprenant à la fois un SSM en avant et un nouveau SSM en arrière qui opère sur le canal des caractéristiques. Les résultats expérimentaux étendus montrent que Mamba3D dépasse ses homologues basés sur les Transformers et les travaux concurrents dans plusieurs tâches, qu'il y ait eu pré-entraînement ou non. Notamment, Mamba3D atteint plusieurs états de l'art (SoTA), notamment une précision globale de 92,6 % (entraîné à partir de zéro) sur ScanObjectNN et 95,1 % (avec un pré-entraînement mono-modale) sur la tâche de classification ModelNet40, tout en maintenant une complexité linéaire. Notre code source et nos poids sont disponibles à l'adresse suivante : https://github.com/xhanxu/Mamba3D.