3D-MPA: Multi Proposal Aggregation für die 3D semantische Instanzsegmentierung

Wir stellen 3D-MPA vor, eine Methode zur Instanzsegmentierung von 3D-Punktwolken. Für eine gegebene Eingangspunktwolke schlagen wir einen objektorientierten Ansatz vor, bei dem jeder Punkt für das Zentrum seines Objekts stimmt. Wir generieren Objektvorschläge aus den vorhergesagten Objektzentren. Anschließend lernen wir Vorschlagsmerkmale aus den gruppierten Punktmehrheiten, die für dasselbe Objektzentrum gestimmt haben. Ein Graph-Convolutional-Network (GCN) führt Inter-Vorschags-Beziehungen ein und ermöglicht dadurch erweitertes Merkmalslernen auf höherer Ebene, zusätzlich zu den niedrigstufigen Punktmehrheiten. Jeder Vorschlag umfasst ein semantisches Label, eine Menge assoziierter Punkte, über die wir eine Vordergrund-Hintergrund-Maske definieren, einen Objectness-Score und Aggregationsmerkmale. Frühere Arbeiten führen in der Regel Non-Maximum-Suppression (NMS) über die Vorschläge durch, um die endgültigen Objekterkennungen oder semantischen Instanzen zu erhalten. Allerdings kann NMS potentiell korrekte Vorhersagen verwerfen. Stattdessen behält unser Ansatz alle Vorschläge bei und gruppirt sie basierend auf den gelernten Aggregationsmerkmalen zusammen. Wir zeigen, dass das Gruppieren von Vorschlägen NMS übertrifft und frühere Stand-of-the-Art-Methoden in den Aufgaben der 3D-Objekterkennung und der semantischen Instanzsegmentierung im ScanNetV2-Benchmark und im S3DIS-Datensatz übertreffen kann.