点云曼巴：基于状态空间模型的点云学习

最近，状态空间模型展示了强大的全局建模能力和线性计算复杂度，相比之下，变压器（transformers）则显得不足。本研究专注于将这种架构应用于点云数据的全局建模，以实现更高效和有效的线性计算复杂度建模。特别是，我们首次证明了基于Mamba的点云方法可以超越基于变压器或多层感知机（MLPs）的先前方法。为了使Mamba能够更有效地处理3D点云数据，我们提出了一种新颖的一致遍历序列化方法（Consistent Traverse Serialization），该方法将点云转换为1D点序列，同时确保序列中的相邻点在空间上也是相邻的。通过排列 x、y 和 z 坐标的顺序，一致遍历序列化产生了六种变体，这些变体的协同使用有助于Mamba全面观察点云数据。此外，为了帮助Mamba更有效地处理不同顺序的点序列，我们引入了点提示（point prompts），以告知Mamba序列的排列规则。最后，我们提出了基于空间坐标映射的位置编码方法，以便更有效地将位置信息注入到点云序列中。Point Cloud Mamba超越了最先进的基于点的方法PointNeXt，在ScanObjectNN、ModelNet40、ShapeNetPart和S3DIS数据集上取得了新的最佳性能。值得一提的是，当使用更强的局部特征提取模块时，我们的PCM在S3DIS数据集上达到了79.6 mIoU，分别显著超过了之前的最佳模型DeLA和PTv3 5.5 mIoU和4.9 mIoU。