PointConv : Réseaux de neurones convolutifs profonds sur les nuages de points 3D

Contrairement aux images qui sont représentées par des grilles denses régulières, les nuages de points 3D sont irréguliers et non ordonnés, ce qui rend l'application de la convolution sur eux difficile. Dans cet article, nous étendons le filtre dynamique à une nouvelle opération de convolution, appelée PointConv. PointConv peut être appliqué aux nuages de points pour construire des réseaux de neurones convolutifs profonds. Nous considérons les noyaux de convolution comme des fonctions non linéaires des coordonnées locales des points 3D, composées de fonctions de poids et de densité. Pour un point donné, les fonctions de poids sont apprises à l'aide de réseaux de neurones à plusieurs couches (multi-layer perceptron networks) et les fonctions de densité par estimation de densité par noyau (kernel density estimation). La contribution la plus importante de cette recherche est une nouvelle reformulation proposée pour calculer efficacement les fonctions de poids, ce qui nous a permis d'augmenter considérablement la taille du réseau et d'améliorer significativement ses performances. Le noyau de convolution appris peut être utilisé pour calculer des convolutions invariantes par translation et permutation sur n'importe quel ensemble de points dans l'espace 3D. De plus, PointConv peut également être utilisé comme opérateurs déconvolutifs pour propager les caractéristiques d'un nuage de points sous-échantillonné jusqu'à sa résolution originale. Les expériences menées sur ModelNet40, ShapeNet et ScanNet montrent que les réseaux neuronaux convolutifs profonds basés sur PointConv peuvent atteindre l'état de l'art sur des benchmarks difficiles de segmentation sémantique sur les nuages de points 3D. En outre, nos expériences consistant à convertir CIFAR-10 en un nuage de points ont montré que les réseaux basés sur PointConv peuvent égaler les performances des réseaux convolutifs dans les images 2D d'une structure similaire.