Effiziente 3D-Semantische Segmentierung mit Superpoint Transformer

Wir stellen eine neuartige, auf Superpunkten basierende Transformer-Architektur für eine effiziente semantische Segmentierung großer 3D-Szenen vor. Unser Ansatz integriert einen schnellen Algorithmus zur Zerlegung von Punktwolken in eine hierarchische Superpunkt-Struktur, wodurch unsere Vorverarbeitung siebenmal schneller ist als bei bestehenden, auf Superpunkten basierenden Ansätzen. Zudem nutzen wir eine Selbst-Attention-Mechanismus, um Beziehungen zwischen Superpunkten auf mehreren Skalen zu erfassen, was zu bestehender Leistung auf drei anspruchsvollen Benchmark-Datensätzen führt: S3DIS (76,0 % mIoU, 6-fach Validierung), KITTI-360 (63,5 % auf Val) und DALES (79,6 %). Mit lediglich 212.000 Parametern ist unser Ansatz bis zu 200-mal kompakter als andere state-of-the-art-Modelle, während die Leistung vergleichbar bleibt. Darüber hinaus kann unser Modell auf einer einzigen GPU innerhalb von drei Stunden für eine Fold des S3DIS-Datensatzes trainiert werden – dies entspricht einer Reduktion um den Faktor 7 bis 70 an GPU-Stunden im Vergleich zu den bisher besten Methoden. Unsere Code-Base und Modelle sind unter github.com/drprojects/superpoint_transformer verfügbar.