JSNet: Jointe Instanz- und Semantische Segmentierung von 3D-Punktwolken

In diesem Paper stellen wir einen neuartigen Ansatz für die gemeinsame Instanz- und Semantiksegmentierung, namens JSNet, vor, um die Instanz- und Semantiksegmentierung von 3D-Punktwolken gleichzeitig zu bewältigen. Zunächst entwickeln wir ein effektives Backbone-Netzwerk zur Extraktion robuster Merkmale aus rohen Punktwolken. Anschließend wird ein Modul zur Fusions von Punktwolkenmerkmalen vorgeschlagen, um differenziertere Merkmale durch die Kombination der Merkmale verschiedener Schichten des Backbone-Netzwerks zu erzielen. Darüber hinaus wird ein gemeinsamer Instanz-Semantik-Segmentierungsmodul entwickelt, welches semantische Merkmale in den Instanz-Embedding-Raum transformiert und die transformierten Merkmale anschließend mit Instanzmerkmalen fusioniert, um die Instanzsegmentierung zu unterstützen. Gleichzeitig aggregiert dieser Modul Instanzmerkmale in den semantischen Merkmalsraum, um die Semantiksegmentierung zu fördern. Schließlich werden die Instanzvorhersagen durch Anwendung eines einfachen Mean-Shift-Clustering auf die Instanz-Embeddings generiert. Insgesamt evaluieren wir das vorgeschlagene JSNet anhand eines großskaligen 3D-Innenraum-Punktwolken-Datensatzes (S3DIS) sowie eines Teil-Datensatzes (ShapeNet) und vergleichen es mit bestehenden Ansätzen. Die experimentellen Ergebnisse zeigen, dass unser Ansatz die State-of-the-Art-Methode in der 3D-Instanzsegmentierung erheblich übertrifft, insbesondere hinsichtlich der 3D-Semantikvorhersage, und zudem positiven Einfluss auf die Teilsegmentierung hat. Der Quellcode für diese Arbeit ist unter https://github.com/dlinzhao/JSNet verfügbar.