Divide and Conquer: 3D Point Cloud Instance Segmentation mit punktweiser Binarisierung

Die Instanzsegmentierung auf Punktwolken ist für das Verständnis von 3D-Szenen von entscheidender Bedeutung. Die meisten der aktuellen State-of-the-Art-Methoden setzen auf Distanzclustering, das typischerweise wirksam ist, jedoch bei der Segmentierung benachbarter Objekte mit derselben semantischen Bezeichnung schlecht abschneidet (insbesondere wenn sie benachbarte Punkte teilen). Aufgrund der ungleichmäßigen Verteilung der Versatzpunkte können diese bestehenden Ansätze die Punkte aller Instanzen kaum korrekt clustern. Um dies zu lösen, entwickeln wir eine neuartige Divide-and-Conquer-Strategie namens PBNet, die jeden Punkt binarisiert und separat clustert, um Instanzen zu segmentieren. Unser binäres Clustering unterteilt die Versatzpunkte einer Instanz in zwei Kategorien: Punkte mit hoher und niedriger Dichte (HPs vs. LPs). Benachbarte Objekte können klar voneinander getrennt werden, indem die LPs entfernt werden, und anschließend durch Zuweisung der LPs mittels eines Nachbarn-Votings vervollständigt und verfeinert werden. Um eine mögliche Übersegmentierung zu unterdrücken, schlagen wir vor, lokale Szenen mit einer Gewichtsmaske für jede Instanz zu konstruieren. Als Plug-in lässt sich das vorgeschlagene binäre Clustering problemlos anstelle des traditionellen Distanzclustering einsetzen und führt auf zahlreichen etablierten Baselines zu konsistenten Leistungsverbesserungen. Eine Reihe von Experimenten auf den Datensätzen ScanNetV2 und S3DIS belegen die Überlegenheit unseres Modells. Insbesondere erreicht PBNet die Spitzenposition im offiziellen Benchmark-Challenge von ScanNetV2 und erzielt die höchste mAP. Der Quellcode wird öffentlich unter https://github.com/weiguangzhao/PBNet zur Verfügung gestellt.