Pamba: Verbesserung der globalen Interaktion in Punktwolken durch ein Zustandsraummodell

Transformer haben beeindruckende Ergebnisse bei der semantischen Segmentierung von 3D-Punktwolken erzielt. Dennoch führt die quadratische Komplexität von Transformer zu hohen Rechenkosten, was die Anzahl der gleichzeitig verarbeitbaren Punkte begrenzt und das Modellieren langer Abhängigkeiten zwischen Objekten in einer einzelnen Szene erschwert. Inspiriert von dem großen Potenzial neuer Zustandsraummodelle (SSM) für das Modellieren langer Sequenzen, führen wir Mamba ein, eine auf SSM basierende Architektur, in den Bereich der Punktwolken und schlagen Pamba vor, eine neuartige Architektur mit starker globaler Modellierungsfähigkeit unter linearer Komplexität. Insbesondere, um die Ungeordnetheit von Punktwolken mit der kausalen Natur von Mamba in Einklang zu bringen, schlagen wir eine mehrpfad-Serialisierungsstrategie vor, die für Punktwolken geeignet ist. Darüber hinaus schlagen wir den ConvMamba-Block vor, um die Nachteile von Mamba bei der Modellierung lokaler Geometrien und bei der einseitigen Modellierung auszugleichen. Pamba erzielt state-of-the-art-Ergebnisse bei mehreren 3D-Punktwolken-Segmentierungsaufgaben, darunter ScanNet v2, ScanNet200, S3DIS und nuScenes, wobei seine Effektivität durch umfangreiche Experimente bestätigt wird.