SEGCloud : Segmentation sémantique des nuages de points 3D

L'étiquetage sémantique 3D des scènes est fondamental pour les agents opérant dans le monde réel. En particulier, l'étiquetage de jeux de points 3D bruts provenant de capteurs fournit une sémantique fine. Les travaux récents exploitent les capacités des Réseaux Neuronaux (NNs), mais sont limités aux prédictions de voxels grossiers et ne mettent pas explicitement en œuvre la cohérence globale. Nous présentons SEGCloud, un cadre d'extrémité à extrémité permettant d'obtenir une segmentation au niveau des points 3D qui combine les avantages des NNs, de l'interpolation trilinéaire (TI) et des Champs Aléatoires Conditionnels pleinement connectés (FC-CRF). Les prédictions de voxels grossiers issues d'un Réseau Neuronal Convolutif 3D entièrement convolutif sont transférées aux points 3D bruts par interpolation trilinéaire. Ensuite, le FC-CRF impose la cohérence globale et fournit une sémantique fine sur les points. Nous implémentons ce dernier sous forme de Réseau Neuronal Récurent différentiable pour permettre une optimisation conjointe. Nous évaluons le cadre sur deux ensembles de données 3D intérieurs et deux ensembles de données 3D extérieurs (NYU V2, S3DIS, KITTI, Semantic3D.net), et montrons des performances comparables ou supérieures à l'état de l'art sur tous les ensembles de données.