PointGroup : Regroupement par Ensembles Doubles pour la Segmentations d'Instances 3D

La segmentation d’instances est une tâche essentielle pour la compréhension des scènes. En comparaison avec la segmentation 2D pleinement développée, la segmentation 3D sur nuages de points reste encore largement perfectible. Dans cet article, nous présentons PointGroup, une nouvelle architecture end-to-end de type bottom-up, spécifiquement conçue pour améliorer le regroupement des points en explorant l’espace vide entre les objets. Nous proposons un réseau à deux branches permettant d’extraire les caractéristiques des points ainsi que de prédire les étiquettes sémantiques et les décalages, afin de déplacer chaque point vers le centroïde de son instance respective. Un module de regroupement suit ensuite, exploitant à la fois les coordonnées initiales des points et celles décalées, afin de tirer parti de leurs forces complémentaires. Par ailleurs, nous introduisons ScoreNet, un module permettant d’évaluer les instances candidates, suivi d’une suppression non maximale (NMS) pour éliminer les doublons. Nous menons des expérimentations étendues sur deux jeux de données exigeants, ScanNet v2 et S3DIS, où notre méthode atteint les meilleurs résultats, avec des scores mAP respectifs de 63,6 % et 64,0 %, contre 54,9 % et 54,4 % pour les meilleures solutions antérieures, au seuil d’IoU de 0,5.