Serialisierte Punktwolke Mamba: Ein Modell zur Segmentierung von serialisierten Punktwolken Mamba

Die Segmentierung von Punktwolken ist für die visuelle Wahrnehmung und Umweltverstehens von Robotern entscheidend und ermöglicht Anwendungen wie Roboter-Navigation und 3D-Rekonstruktion. Die Verarbeitung der dünn besetzten und ungeordneten Natur von Punktwolken-Daten stellt jedoch Herausforderungen für eine effiziente und genaue Segmentierung dar. Inspiriert durch den Erfolg des Mamba-Modells in der natürlichen Sprachverarbeitung, schlagen wir das Serialisierte Punktwolken-Mamba-Segmentierungsmodell (Serialisiertes Point Mamba) vor, das ein Zustandsraummodell nutzt, um Sequenzen dynamisch zu komprimieren, den Speicherverbrauch zu reduzien und die rechnerische Effizienz zu verbessern. Das Serialisierte Point Mamba integriert lokale-globale Modellierungsfähigkeiten mit linearer Komplexität und erreicht Spitzenleistungen sowohl in Indoor- als auch in Outdoor-Datensätzen. Dieser Ansatz beinhaltet neuartige Techniken wie stufenweise Lernung von Punktwolken-Sequenzen, Gitter-Pooling und bedingte Positionscodierung (Conditional Positional Encoding), die eine effektive Segmentierung bei verschiedenen Punktwolken-Aufgaben erleichtern. Unsere Methode erzielte einen mIoU-Wert von 76,8 auf Scannet und 70,3 auf S3DIS. Bei der Instanz-Segmentierung in Scannetv2 wurde ein mAP-Wert von 40,0 erreicht. Zudem zeigte es die geringste Latenz und einen vertretbaren Speicherverbrauch, was es zum besten Modell unter den punktsemantischen Segmentierungsmodellen basierend auf Mamba macht.