Command Palette
Search for a command to run...
Mamba3D:通过状态空间模型增强局部特征以改进3D点云分析
Mamba3D:通过状态空间模型增强局部特征以改进3D点云分析
摘要
现有的基于Transformer的点云分析模型由于其二次复杂度,导致点云分辨率降低和信息丢失。相比之下,新提出的Mamba模型基于状态空间模型(SSM),仅以线性复杂度在多个方面超越了Transformer。然而,直接采用Mamba模型在点云任务上并未达到令人满意的性能。在这项工作中,我们提出了Mamba3D,这是一种专门为点云学习设计的状态空间模型,旨在增强局部特征提取,实现卓越的性能、高效率和可扩展性潜力。具体而言,我们提出了一种简单而有效的局部归一化池化(Local Norm Pooling, LNP)模块来提取局部几何特征。此外,为了获得更好的全局特征,我们引入了一种双向状态空间模型(bidirectional SSM, bi-SSM),该模型包括一个前向SSM和一种新颖的反向SSM,后者在特征通道上进行操作。广泛的实验结果表明,无论是否经过预训练,Mamba3D在多个任务中均超过了基于Transformer的同类模型和其他同期工作。特别值得一提的是,Mamba3D在ScanObjectNN分类任务中达到了92.6%的整体准确率(从头开始训练),以及在ModelNet40分类任务中达到了95.1%的准确率(单模态预训练),且仅具有线性复杂度。我们的代码和权重可在https://github.com/xhanxu/Mamba3D 获取。