Dynamic Graph CNN pour l'apprentissage sur les nuages de points

Les nuages de points fournissent une représentation géométrique flexible adaptée à de nombreuses applications en informatique graphique ; ils constituent également la sortie brute de la plupart des dispositifs d'acquisition de données 3D. Bien que des caractéristiques conçues manuellement sur les nuages de points aient été proposées depuis longtemps dans le domaine de l'informatique graphique et de la vision par ordinateur, le succès récent et écrasant des réseaux neuronaux convolutifs (CNN) pour l'analyse d'images suggère l'intérêt d'adapter les connaissances issues des CNN au monde des nuages de points. Les nuages de points manquent intrinsèquement d'informations topologiques, donc concevoir un modèle capable de récupérer cette topologie peut enrichir la puissance représentative des nuages de points. À cet effet, nous proposons un nouveau module de réseau neuronal appelé EdgeConv adapté aux tâches haut niveau basées sur les CNN sur les nuages de points, telles que la classification et la segmentation. EdgeConv opère sur des graphes calculés dynamiquement dans chaque couche du réseau. Il est différentiable et peut être intégré à des architectures existantes. Comparé aux modules existants fonctionnant dans l'espace extrinsèque ou traitant chaque point indépendamment, EdgeConv présente plusieurs propriétés attractives : il intègre les informations du voisinage local ; il peut être empilé pour apprendre les propriétés globales de forme ; et dans les systèmes multicouches, l'affinité dans l'espace des caractéristiques capture les caractéristiques sémantiques potentiellement sur de longues distances dans le plongement original. Nous montrons les performances de notre modèle sur des benchmarks standards tels que ModelNet40, ShapeNetPart et S3DIS.