MASC: Mehrskalige Affinität mit dünnbesetzter Faltung für die 3D-Instanzsegmentierung

Wir schlagen einen neuen Ansatz für die 3D-Instanzsegmentierung vor, der auf dünnbesetzter Faltung und Vorhersage der Punktaffinität basiert, wobei letztere die Wahrscheinlichkeit angibt, dass zwei Punkte zur gleichen Instanz gehören. Das vorgeschlagene Netzwerk, das auf submanifalt dünnbesetzter Faltung [3] aufbaut, verarbeitet ein voxelisiertes Punktwolkenmodell und prognostiziert semantische Werte für jeden besetzten Voxel sowie die Affinität zwischen benachbarten Voxeln in verschiedenen Skalen. Ein einfacher aber effektiver Clusteralgorithmus segmentiert die Punkte in Instanzen basierend auf der vorhergesagten Affinität und der Gittertopologie. Die Semantik jeder Instanz wird durch die semantische Vorhersage bestimmt. Experimente zeigen, dass unsere Methode bei weitem den besten bisher bekannten Instanzsegmentierungsmethoden übertrifft, insbesondere im weit verbreiteten ScanNet-Benchmark [2]. Wir stellen unser Code öffentlich zur Verfügung unter https://github.com/art-programmer/MASC.