PointCNN : Convolution sur des points $\mathcal{X}$-transformés

Nous présentons un cadre simple et général pour l'apprentissage de caractéristiques à partir de nuages de points. La clé du succès des CNNs réside dans l'opérateur de convolution qui est capable d'exploiter la corrélation spatiale locale dans les données représentées de manière dense sur des grilles (par exemple, des images). Cependant, les nuages de points sont irréguliers et non ordonnés, donc le fait de convoluer directement des noyaux avec les caractéristiques associées aux points entraînera une perte d'informations sur la forme et une variance en fonction de l'ordre des points. Pour résoudre ces problèmes, nous proposons d'apprendre une transformation $\mathcal{X}$ à partir des points d'entrée, afin de promouvoir simultanément deux objectifs. Le premier est le pondération des caractéristiques d'entrée associées aux points, et le second est la permutation des points dans un ordre latent potentiellement canonique. Les opérations produit élément par élément et somme du convoluteur typique sont ensuite appliquées sur les caractéristiques transformées par $\mathcal{X}$. La méthode proposée constitue une généralisation des CNNs classiques à l'apprentissage de caractéristiques à partir de nuages de points ; c'est pourquoi nous l'appelons PointCNN. Les expériences montrent que PointCNN atteint des performances équivalentes ou supérieures aux méthodes les plus avancées sur plusieurs jeux de données de référence difficiles et sur diverses tâches.