Semantische Segmentierung-gestützte Instanzmerkmalsfusion für die mehrstufige 3D-Teilinstanzsegmentierung

Die Erkennung von 3D-Teilinstanzen aus einem 3D-Punktwolken-Datensatz ist entscheidend für das Verständnis von 3D-Strukturen und -Szenen. Mehrere lernbasierte Ansätze verwenden semantische Segmentierung und die Vorhersage von Instanzzentren als Trainingsaufgaben und scheitern daran, die inhärente Beziehung zwischen Formsemantik und Teilinstanzen weiter zu nutzen. In dieser Arbeit stellen wir eine neue Methode zur Segmentierung von 3D-Teilinstanzen vor. Unser Verfahren nutzt die semantische Segmentierung, um nicht-lokale Instanzmerkmale wie Zentrumsvorhersagen zu fusionieren, und verbessert das Fusionsverfahren auf mehreren Ebenen sowie über Ebenen hinweg. Wir schlagen außerdem eine Aufgabe zur Vorhersage von semantischen Regionenzentren vor, um diese im Training zu nutzen und die Clusterverbesserung der Instanzpunkte durch die Vorhersageergebnisse zu fördern. Unsere Methode erzielt in der PartNet-Benchmark einen deutlichen Vorteil gegenüber bestehenden Methoden. Darüber hinaus zeigen wir, dass unser Merkmalsfusionsschema auf andere bestehende Methoden angewendet werden kann, um ihre Leistung bei der Segmentierung von Instanzpunkten in Indoor-Szenen zu steigern.