JSIS3D : Segmentation sémantique et par instance conjointe de nuages de points 3D avec des réseaux multi-tâches ponctuels et des champs aléatoires conditionnels multi-valeurs

Les techniques d'apprentissage profond sont devenues les modèles de référence pour la plupart des tâches liées à la vision sur les images 2D. Cependant, leur potentiel n'a pas encore été pleinement exploité dans plusieurs tâches en espace 3D, par exemple, la compréhension des scènes 3D. Dans ce travail, nous abordons conjointement les problèmes de segmentation sémantique et d'instances des nuages de points 3D. Plus précisément, nous développons un réseau neuronal ponctuel multi-tâches qui effectue simultanément deux tâches : prédire les classes sémantiques des points 3D et plonger ces points dans des vecteurs de haute dimension afin que les points appartenant à la même instance d'objet soient représentés par des plongements similaires. Nous proposons ensuite un modèle de champ aléatoire conditionnel multi-valeurs pour intégrer les étiquettes sémantiques et d'instances, et formuler le problème de segmentation sémantique et d'instances comme une optimisation conjointe des étiquettes dans le modèle du champ. La méthode proposée est évaluée de manière approfondie et comparée aux méthodes existantes sur différents jeux de données de scènes intérieures, notamment S3DIS et SceneNN. Les résultats expérimentaux ont montré la robustesse du schéma de segmentation sémantique-instance proposé par rapport à ses composants individuels. Notre méthode a également atteint des performances de pointe en segmentation sémantique.