PointCNN : Convolution sur des points transformés par X

Nous présentons un cadre simple et général pour l'apprentissage de caractéristiques à partir de nuages de points. La clé du succès des réseaux de neurones convolutifs (CNN) réside dans l'opérateur de convolution, capable d'exploiter les corrélations spatialement locales dans des données représentées de manière dense sur une grille (par exemple, les images). Toutefois, les nuages de points sont irréguliers et non ordonnés ; une convolution directe des noyaux sur les caractéristiques associées aux points entraîne ainsi une perte d'information sur la forme tout en étant sensible à l'ordre des points. Pour résoudre ces problèmes, nous proposons d'apprendre une transformation X à partir des points d'entrée, qui permet de pondérer simultanément les caractéristiques associées aux points et de les permuter vers un ordre latent potentiellement canonique. Ensuite, les opérations de produit élément par élément et de somme propres à l'opérateur de convolution classique sont appliquées aux caractéristiques transformées par X. La méthode proposée constitue une généralisation des CNN classiques pour l'apprentissage de caractéristiques à partir de nuages de points, d’où son nom : PointCNN. Les expérimentations montrent que PointCNN atteint des performances équivalentes ou supérieures à celles des méthodes de pointe sur plusieurs jeux de données et tâches difficiles.