PointGroup: Dual-Set Point Grouping für die 3D-Instanzsegmentierung

Die Instanzsegmentierung ist eine zentrale Aufgabe für die Szenenverstehens. Im Vergleich zu den gut etablierten 2D-Verfahren weist die 3D-Instanzsegmentierung für Punktwolken noch erhebliches Verbesserungspotenzial auf. In diesem Artikel stellen wir PointGroup vor, eine neue end-to-end-architektur-basierte bottom-up-Methode, die speziell darauf abzielt, die Punkte durch die Exploration des leeren Raums zwischen Objekten besser zu gruppieren. Wir entwerfen ein zweigeteiltes Netzwerk zur Extraktion von Punktmerkmalen sowie zur Vorhersage semantischer Bezeichnungen und Verschiebungsvektoren, die jeden Punkt hin zu seinem jeweiligen Instanzzentroid verschieben. Anschließend folgt ein Clustering-Modul, das sowohl die ursprünglichen als auch die um Verschiebungsvektoren modifizierten Punktkoordinaten nutzt, um deren ergänzende Stärken auszunutzen. Darüber hinaus formulieren wir ein ScoreNet zur Bewertung von Kandidat-Instanzen, gefolgt von einer Non-Maximum-Suppression (NMS), um doppelte Erkennungen zu eliminieren. Wir führen umfangreiche Experimente auf zwei anspruchsvollen Datensätzen, ScanNet v2 und S3DIS, durch, bei denen unsere Methode die höchsten Ergebnisse erzielt – 63,6 % beziehungsweise 64,0 % im mAP-Maß bei einem IoU-Schwellwert von 0,5 – gegenüber den bisher besten Lösungen mit 54,9 % und 54,4 %.