Étiquetage sémantique de nuages de points non structurés utilisant des réseaux de segmentation profonds

Dans ce travail, nous présentons une nouvelle méthode générale et efficace pour l’étiquetage des nuages de points non structurés. Étant donné que la question de l’utilisation efficace des réseaux de neurones convolutifs profonds (CNN) sur des données 3D reste encore un défi ouvert, nous proposons un cadre qui applique des CNN à plusieurs vues 2D (ou instantanés) du nuage de points. Cette approche repose sur trois idées centrales. (i) Nous sélectionnons un grand nombre de vues appropriées du nuage de points. Nous générons deux types d’images : une vue en couleurs (RGB) et une vue composite de profondeur contenant des caractéristiques géométriques. (ii) Nous réalisons ensuite une étiquetage pixel par pixel de chaque paire de vues 2D à l’aide de réseaux entièrement convolutifs. Différentes architectures sont testées afin d’obtenir une fusion optimale de nos entrées hétérogènes. (iii) Enfin, nous effectuons une projection arrière rapide des prédictions d’étiquetage dans l’espace 3D en utilisant un tamponage efficace, permettant ainsi d’étiqueter chaque point 3D. Les expériences montrent que notre méthode est adaptée à divers types de nuages de points, tels que ceux issus de capteurs Lidar ou de photogrammétrie.