CAGroup3D : Regroupement Conscient de Classes pour la Détection d'Objets 3D sur des Nuages de Points

Nous présentons un nouveau cadre de détection d’objets 3D à convolution entièrement creuse en deux étapes, nommé CAGroup3D. Notre méthode propose d’abord de générer des propositions 3D de haute qualité en exploitant une stratégie de regroupement local orientée vers la classe sur les voxels de surface des objets ayant des prédictions sémantiques identiques. Cette approche prend en compte la cohérence sémantique et la diversité locale, deux aspects négligés dans les méthodes précédentes de type « bottom-up ». Ensuite, afin de restaurer les caractéristiques des voxels manquants dus à une segmentation voxelique incorrecte, nous proposons un module de pooling RoI entièrement creux basé sur des convolutions, qui agrège directement des informations spatiales fines provenant du modèle principal pour une amélioration ultérieure des propositions. Ce module est à la fois efficace en mémoire et en calcul, et permet une meilleure encodage des caractéristiques géométriques spécifiques à chaque proposition 3D. Notre modèle atteint des performances de détection 3D de pointe, avec des gains remarquables de +3,6 % sur ScanNet V2 et +2,6 % sur SUN RGB-D en termes de mAP@0,25. Le code source sera disponible à l’adresse suivante : https://github.com/Haiyang-W/CAGroup3D.