Réseaux de Convolution Interpolés pour la Compréhension des Nuages de Points 3D

Le nuage de points est un type important de représentation 3D. Cependant, l'application directe de convolutions sur les nuages de points est difficile en raison de la structure de données éparse, irrégulière et non ordonnée. Dans cet article, nous proposons une nouvelle opération de convolution interpolée, appelée InterpConv, pour résoudre le problème d'apprentissage et de compréhension des caractéristiques des nuages de points. L'idée clé consiste à utiliser un ensemble de poids de noyau discrets et à interpoler les caractéristiques des points vers les coordonnées voisines des poids du noyau par une fonction d'interpolation pour effectuer la convolution. Un terme de normalisation est introduit pour gérer les voisinages aux différents niveaux de sparsité. Notre InterpConv est montré comme étant invariant par permutation et par sparsité, et peut traiter directement des entrées irrégulières. Nous avons également conçu des réseaux neuronaux convolutifs interpolés (InterpCNNs) basés sur des couches InterpConv pour traiter des tâches de reconnaissance de nuages de points, notamment la classification des formes, la segmentation des parties d'objets et l'analyse sémantique des scènes intérieures. Les expériences montrent que ces réseaux peuvent capturer efficacement à la fois les structures locales fines et les informations contextuelles globales sur la forme. L'approche proposée atteint des performances au niveau de l'état de l'art sur des benchmarks publics tels que ModelNet40, ShapeNet Parts et S3DIS.