MaskGroup: Hierarchisches Punktgruppieren und Maskenbildung für die 3D-Instanzsegmentierung

Diese Arbeit untersucht das Problem der 3D-Instanzsegmentierung, das eine Vielzahl realweltlicher Anwendungen wie Robotik und erweiterte Realität aufweist. Aufgrund der hohen Komplexität der Umgebung dreidimensionaler Objekte ist die Trennung verschiedener Objekte äußerst schwierig. Um dieses anspruchsvolle Problem anzugehen, schlagen wir einen neuartigen Rahmen vor, um 3D-Instanzen zu gruppieren und zu verfeinern. In der Praxis lernen wir zunächst für jeden Punkt einen Verschiebungsvektor, um ihn zu seinem vorhergesagten Instanzzentrum zu verschieben. Um die Punkte effektiver zu gruppieren, stellen wir einen hierarchischen Punktgruppierungsalgorithmus vor, der die zentral aggregierten Punkte schrittweise zusammenführt. Alle Punkte werden zunächst in kleine Cluster gruppiert, die anschließend schrittweise einer weiteren Clustering-Prozedur unterzogen werden, um größere Gruppen zu bilden. Diese mehrskaligen Gruppen werden zur Instanzvorhersage genutzt, was vorteilhaft ist, um Instanzen unterschiedlicher Skalen zu erkennen. Darüber hinaus wird ein neuartiges MaskScoreNet entwickelt, das binäre Punktmasken für diese Gruppen erzeugt, um die Segmentierungsergebnisse weiter zu verfeinern. Umfangreiche Experimente auf den Benchmarks ScanNetV2 und S3DIS belegen die Wirksamkeit des vorgeschlagenen Ansatzes. Beispielsweise erreicht unsere Methode auf dem Testset von ScanNetV2 eine mAP von 66,4 % bei einem IoU-Schwellenwert von 0,5, was um 1,9 Prozentpunkte über der State-of-the-Art-Methode liegt.