Extracteur généraliste de caractéristiques pour nuages de points profonds

Les capteurs de profondeur utilisés dans les systèmes de conduite autonome et de jeux vidéo renvoient souvent des nuages de points 3D. Le manque de structure inhérent à ces capteurs empêche ces systèmes d’exploiter les progrès récents des réseaux neuronaux convolutifs, qui dépendent fortement d’opérations traditionnelles de filtrage et de pooling. À l’instar des architectures convolutives basées sur les images, les architectures récemment introduites basées sur les graphes permettent des opérations de filtrage et de pooling similaires sur des graphes arbitraires. Nous adaptons ces méthodes basées sur les graphes aux nuages de points 3D afin d’introduire une représentation vectorielle générique des graphes 3D, que nous appelons Graph 3D (G3D). Nous pensons être les premiers à appliquer le transfert d’apprentissage à grande échelle sur des données de nuages de points 3D, et à démontrer la puissance discriminative de notre représentation latente distinctive des nuages de points 3D sur des ensembles de test inattendus. En utilisant notre réseau G3D (G3DNet) comme extracteur de caractéristiques, puis en associant les vecteurs de caractéristiques G3D à un classificateur standard, nous obtenons la meilleure précision sur ModelNet10 (93,1 %) et ModelNet40 (91,7 %) pour un réseau basé sur les graphes, ainsi qu’une performance comparable sur le jeu de données Sydney Urban Objects par rapport aux autres méthodes. Cet extracteur de caractéristiques généraliste peut être utilisé comme composant prêt à l’emploi dans d’autres travaux portant sur la compréhension de scènes 3D ou le suivi d’objets.