PointNet : Apprentissage profond sur des ensembles de points pour la classification et la segmentation 3D

Le nuage de points est un type important de structure de données géométriques. En raison de son format irrégulier, la plupart des chercheurs transforment ces données en grilles voxelliques 3D régulières ou en collections d'images. Cependant, cette transformation rend les données inutilement volumineuses et pose des problèmes. Dans cet article, nous concevons un nouveau type de réseau neuronal capable de traiter directement les nuages de points tout en respectant l'invariance à la permutation des points dans l'entrée. Notre réseau, nommé PointNet, offre une architecture unifiée pour diverses applications allant de la classification d'objets à la segmentation de parties et à l'analyse sémantique de scènes. Bien que simple, PointNet est très efficace et performant. Expérimentalement, il montre des performances solides équivalentes voire supérieures à celles des méthodes les plus avancées actuellement disponibles. Théoriquement, nous fournissons une analyse visant à comprendre ce que le réseau a appris et pourquoi il est robuste face aux perturbations et corruptions de l'entrée.