Masque sphérique : Segmentation d'instances de nuages de points 3D par approche de grossière à fine avec représentation sphérique

Les méthodes de segmentation d'instances 3D de type coarse-to-fine montrent des performances faibles comparées aux méthodes récentes basées sur le groupement, les noyaux et les transformateurs. Nous soutenons que cela est dû à deux limitations : 1) une surestimation de la taille des instances par la boîte englobante alignée sur les axes (AABB) ; 2) une accumulation d'erreurs négatives fausses provenant d'une boîte imprecise jusqu'à la phase de raffinement. Dans ce travail, nous introduisons Spherical Mask, une nouvelle approche coarse-to-fine basée sur une représentation sphérique, qui surmonte ces deux limitations avec plusieurs avantages. Plus précisément, notre détection grossière estime chaque instance avec un polygone 3D en utilisant des prédictions du centre et des distances radiales, évitant ainsi une surestimation excessive de la taille de l'AABB. Pour couper la propagation des erreurs dans les approches coarse-to-fine existantes, nous migrons virtuellement les points en fonction du polygone, permettant ainsi à tous les points du premier plan, y compris ceux faux négatifs, d'être raffinés. Lors de l'inférence, les modules de proposition et de migration des points s'exécutent en parallèle et sont assemblés pour former des masques binaires d'instances. Nous introduisons également deux pertes basées sur la marge pour la migration des points afin d'imposer des corrections pour les faux positifs/négatifs et de maintenir la cohésion des points du premier plan, améliorant considérablement les performances. Les résultats expérimentaux issus de trois jeux de données, tels que ScanNetV2, S3DIS et STPLS3D, montrent que notre méthode proposée surpassent les travaux existants, démontrant l'efficacité de la nouvelle représentation d'instances avec des coordonnées sphériques. Le code est disponible à l'adresse suivante : https://github.com/yunshin/SphericalMask