Segmentation Sémantique 3D Projective Profonde

La segmentation sémantique des nuages de points 3D est un problème complexe avec de nombreuses applications dans le monde réel. Bien que l'apprentissage profond ait révolutionné le domaine de la segmentation sémantique d'images, son impact sur les données de nuages de points a été limité jusqu'à présent. Les tentatives récentes, basées sur des approches d'apprentissage profond 3D (3D-CNNs), ont obtenu des résultats en deçà des attentes. Ces méthodes nécessitent une voxelisation des données sous-jacentes du nuage de points, ce qui entraîne une diminution de la résolution spatiale et une augmentation de la consommation mémoire. De plus, les 3D-CNNs souffrent grandement de la disponibilité limitée de jeux de données annotés.Dans cet article, nous proposons un cadre alternatif qui évite les limitations des 3D-CNNs. Au lieu de résoudre directement le problème en 3D, nous projettons d'abord le nuage de points sur un ensemble d'images 2D synthétiques. Ces images sont ensuite utilisées comme entrée pour un 2D-CNN conçu pour la segmentation sémantique. Enfin, les scores prédits obtenus sont réprojectés sur le nuage de points pour obtenir les résultats de segmentation. Nous examinons également l'impact de plusieurs modalités, telles que la couleur, la profondeur et les normales de surface, dans une architecture réseau à multiples flux. Des expériences sont réalisées sur le jeu de données Semantic3D récent. Notre approche établit un nouveau niveau d'excellence en obtenant un gain relatif de 7,9 % par rapport à l'approche précédemment la meilleure.