Instances 3D en noyaux 1D

Nous introduisons une représentation 3D des instances, appelée instance kernels, dans laquelle chaque instance est représentée par un vecteur unidimensionnel encapsulant des informations sémantiques, positionnelles et de forme relatives aux instances 3D. Nous démontrons que les instance kernels permettent une inférence de masques simple, en effectuant simplement un balayage des noyaux sur l’ensemble de la scène, évitant ainsi la dépendance lourde aux propositions ou aux algorithmes de regroupement heuristiques présents dans les pipelines standards de segmentation d’instances 3D. L’idée de instance kernel s’inspire du succès récent des convolutions dynamiques dans les tâches de segmentation d’instances 2D/3D. Toutefois, nous constatons qu’il est non trivial de représenter correctement les instances 3D en raison de la nature désordonnée et non structurée des données de nuages de points — par exemple, une localisation instable des instances peut gravement dégrader la qualité de leur représentation. Pour pallier ce problème, nous proposons un nouveau paradigme d’encodage des instances 3D. Premièrement, les centres potentiels des instances sont localisés comme candidats. Ensuite, un schéma de fusion de candidats est conçu pour regrouper simultanément les candidats redondants et recueillir le contexte environnant autour des centres fusionnés, afin de former les instance kernels. Une fois les instance kernels disponibles, les masques d’instances peuvent être reconstruits via des convolutions dynamiques dont les poids sont conditionnés par les instance kernels. L’ensemble du pipeline est implémenté dans un réseau à noyaux dynamiques (DKNet). Les résultats montrent que DKNet dépasse les méthodes de l’état de l’art sur les jeux de données ScanNetV2 et S3DIS, tout en offrant une meilleure localisation des instances. Le code source est disponible à l’adresse suivante : https://github.com/W1zheng/DKNet.