SGPN: Ähnlichkeitsgruppen-Vorschlagsnetzwerk für die 3D-Punktwolken-Instanzsegmentierung

Wir stellen das Similarity Group Proposal Network (SGPN) vor, ein einfaches und intuitives tiefes Lernframework für die 3D-Objektinstanzsegmentierung auf Punktwolken. Das SGPN nutzt ein einzelnes Netzwerk, um Punktegruppierungsanträge und eine entsprechende semantische Klasse für jeden Antrag vorherzusagen, aus denen wir direkt Ergebnisse der Instanzsegmentierung extrahieren können. Für die Effektivität des SGPN ist entscheidend seine neuartige Darstellung der 3D-Instanzsegmentierungsergebnisse in Form einer Ähnlichkeitsmatrix, die die Ähnlichkeit zwischen jedem Paar von Punkten im eingebetteten Merkmalsraum anzeigt. Dies ermöglicht eine genaue Gruppierungsanfrage für jeden Punkt. Nach unserem Wissen ist das SGPN das erste Framework, das lernfähige 3D-Instanzbewusste Semantische Segmentierung auf Punktwolken durchführt. Experimentelle Ergebnisse aus verschiedenen 3D-Szenen zeigen die Effektivität unserer Methode bei der 3D-Instanzsegmentierung, und wir bewerten auch die Fähigkeit des SGPN, die Ergebnisse der 3D-Objekterkennung und der semantischen Segmentierung zu verbessern. Zudem demonstrieren wir dessen Flexibilität durch nahtloses Einbinden von 2D-CNN-Merkmalsdaten in das Framework zur Leistungssteigerung.