HyperAIHyperAI

Command Palette

Search for a command to run...

Point Cloud Mamba: Lernen von Punktwolken durch Modellierung des Zustandsraums

Tao Zhang; Haobo Yuan; Lu Qi; Jiangning Zhang; Qianyu Zhou; Shunping Ji; Shuicheng Yan; Xiangtai Li

Zusammenfassung

Kürzlich haben Zustandsraummodelle starke globale Modellierungsfähigkeiten und eine lineare Rechenkomplexität im Vergleich zu Transformatoren gezeigt. Diese Forschung konzentriert sich darauf, solche Architekturen anzuwenden, um Punktewolken-Daten global mit linearer Rechenkomplexität effizienter und wirksamer zu modellieren. Insbesondere zeigen wir erstmals, dass Mamba-basierte Methoden für Punktewolken frühere Ansätze, die auf Transformatoren oder Multi-Layer-Perceptrons (MLPs) basieren, übertreffen können. Um Mamba die effektivere Verarbeitung von 3D-Punktewolken-Daten zu ermöglichen, schlagen wir eine neuartige Methode der konsistenten Durchlaufserialisierung (Consistent Traverse Serialization) vor, die Punktewolken in eindimensionale Punktfolgen umwandelt und dabei sicherstellt, dass benachbarte Punkte in der Folge auch räumlich angrenzend sind. Die konsistente Durchlaufserialisierung ergibt sechs Varianten durch das Vertauschen der Reihenfolge der \textit{x}, \textit{y} und \textit{z}-Koordinaten, und die synergetische Nutzung dieser Varianten unterstützt Mamba bei der umfassenden Beobachtung von Punktewolken-Daten. Darüber hinaus führen wir Punktprompts ein, um Mamba bei der effektiveren Verarbeitung von Punktfolgen mit unterschiedlicher Reihenfolge zu unterstützen und es über die Anordnungsregeln der Folge zu informieren. Schließlich schlagen wir eine positionale Kodierung basierend auf räumlicher Koordinatenabbildung vor, um positionale Informationen in Punktewolken-Folgen effektiver einzubringen. Point Cloud Mamba übertrifft den aktuellen Stand der Technik (SOTA) in punktbasierten Methoden wie PointNeXt und erreicht neue SOTA-Leistungen auf den Datensätzen ScanObjectNN, ModelNet40, ShapeNetPart und S3DIS. Es ist erwähnenswert, dass bei Verwendung eines leistungsfähigeren lokalen Merkmalsextraktionsmoduls unser PCM einen mIoU-Wert von 79,6 auf S3DIS erreicht, was die bisherigen SOTA-Modelle DeLA und PTv3 um 5,5 mIoU und 4,9 mIoU übertreffen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp