JSNet : Segmentations d'instances et sémantiques conjointes des nuages de points 3D

Dans cet article, nous proposons une nouvelle approche conjointe de segmentation d’instances et de segmentation sémantique, appelée JSNet, afin de traiter simultanément la segmentation d’instances et la segmentation sémantique sur des nuages de points 3D. Tout d’abord, nous concevons un réseau principal efficace pour extraire des caractéristiques robustes à partir des nuages de points bruts. Ensuite, afin d’obtenir des caractéristiques plus discriminantes, nous introduisons un module de fusion de caractéristiques de nuage de points, qui combine les caractéristiques issues de différentes couches du réseau principal. Par ailleurs, un module de segmentation conjointe instance-sémantique est développé pour transformer les caractéristiques sémantiques en espace d’embedding d’instances, puis fusionner ces caractéristiques transformées avec les caractéristiques d’instances afin de faciliter la segmentation d’instances. Parallèlement, ce module agrège également les caractéristiques d’instances vers l’espace de caractéristiques sémantiques afin de promouvoir la segmentation sémantique. Enfin, les prédictions d’instances sont obtenues en appliquant un simple algorithme de clustering par décalage de moyenne (mean-shift) sur les embeddings d’instances. En conséquence, nous évaluons la méthode JSNet sur un grand jeu de données de nuages de points intérieurs 3D, S3DIS, ainsi que sur un jeu de données de parties, ShapeNet, et la comparons aux approches existantes. Les résultats expérimentaux montrent que notre méthode surpasse significativement l’état de l’art en segmentation d’instances 3D, tout en améliorant notablement la prédiction sémantique 3D, et s’avère également bénéfique pour la segmentation de parties. Le code source de ce travail est disponible à l’adresse suivante : https://github.com/dlinzhao/JSNet.