3D-MPA : Agrégation Multi-Propositions pour la Segmentation Sémantique d'Instances en 3D

Nous présentons 3D-MPA, une méthode de segmentation d'instances sur les nuages de points 3D. Étant donné un nuage de points en entrée, nous proposons une approche centrée sur l'objet où chaque point vote pour le centre de son objet. Nous échantillonnons des propositions d'objets à partir des centres prédits. Ensuite, nous apprenons des caractéristiques de proposition à partir des caractéristiques de points regroupés qui ont voté pour le même centre d'objet. Un réseau neuronal convolutif graphique introduit des relations inter-propositions, offrant un apprentissage de caractéristiques de niveau supérieur en complément des caractéristiques de points de niveau inférieur. Chaque proposition comprend une étiquette sémantique, un ensemble de points associés pour lesquels nous définissons un masque premier-plan/arrière-plan, un score d'objectivité et des caractéristiques d'agrégation. Les travaux précédents effectuent généralement une suppression non maximale (NMS) sur les propositions pour obtenir les détections finales d'objets ou les instances sémantiques. Cependant, la NMS peut rejeter des prédictions potentiellement correctes. À la place, notre approche conserve toutes les propositions et les groupe ensemble en fonction des caractéristiques d'agrégation apprises. Nous montrons que le groupement des propositions surpassent la NMS et dépasse les méthodes précédentes de l'état de l'art dans les tâches de détection d'objets 3D et de segmentation d'instances sémantiques sur le benchmark ScanNetV2 et le dataset S3DIS.