PAConv : Convolution adaptative à la position avec assemblage dynamique de noyaux sur les nuages de points

Nous introduisons la Position Adaptive Convolution (PAConv), une opération de convolution générique pour le traitement des nuages de points 3D. Le principe central de la PAConv réside dans la construction du noyau de convolution par assemblage dynamique de matrices de poids élémentaires stockées dans une banque de poids (Weight Bank), dont les coefficients sont appris de manière auto-adaptative à partir des positions des points grâce à un réseau appelé ScoreNet. Ainsi, le noyau est construit de manière pilotée par les données, conférant à la PAConv une flexibilité supérieure à celle des convolutions 2D, permettant une meilleure gestion des données de nuages de points irréguliers et non ordonnés. Par ailleurs, la complexité du processus d'apprentissage est réduite en combinant des matrices de poids plutôt que de prédire directement les noyaux à partir des positions des points.En outre, contrairement aux opérateurs de convolution sur points existants dont les architectures sont souvent fortement optimisées, nous intégrons notre PAConv dans des pipelines classiques basés sur des réseaux multicouches (MLP) sans modifier les configurations réseau. Même sur des architectures simples, notre méthode atteint ou dépasse les performances des modèles les plus avancés, tout en améliorant significativement les résultats de base sur les tâches de classification et de segmentation, tout en conservant une efficacité raisonnable. Des études d'ablation approfondies ainsi que des visualisations sont fournies afin de mieux comprendre le fonctionnement de la PAConv. Le code source est disponible à l’adresse suivante : https://github.com/CVMI-Lab/PAConv.