PointMixer : MLP-Mixer pour la compréhension des nuages de points

Le MLP-Mixer est apparu récemment comme un nouveau challenger dans le domaine des CNNs et des transformers. Malgré sa simplicité par rapport aux transformers, le concept de MLPs de mélange de canaux et de MLPs de mélange de jetons (tokens) atteint des performances notables dans les tâches de reconnaissance visuelle. Contrairement aux images, les nuages de points sont intrinsèquement épars, non ordonnés et irréguliers, ce qui limite l'utilisation directe du MLP-Mixer pour la compréhension des nuages de points. Dans cet article, nous proposons PointMixer, un opérateur universel d'ensemble de points qui facilite le partage d'informations entre des points 3D non structurés. En remplaçant simplement les MLPs de mélange de jetons par une fonction softmax, PointMixer peut "mélanger" les caractéristiques au sein/d'entre les ensembles de points. Grâce à cette approche, PointMixer peut être largement utilisé dans le réseau pour le mélange inter-ensemble, le mélange intra-ensemble et le mélange pyramidal. De nombreuses expériences montrent que PointMixer offre une performance compétitive ou supérieure aux méthodes basées sur les transformers en segmentation sémantique, classification et reconstruction de points.