2 个月前
Pamba:通过状态空间模型增强点云的全局交互
Zhuoyuan Li; Yubo Ai; Jiahao Lu; ChuXin Wang; Jiacheng Deng; Hanzhi Chang; Yanzhe Liang; Wenfei Yang; Shifeng Zhang; Tianzhu Zhang

摘要
变压器在3D点云语义分割中展示了令人印象深刻的结果。然而,变压器的二次复杂度导致计算成本高昂,限制了可以同时处理的点数,并阻碍了对单个场景中物体之间长程依赖关系的建模。受到最近状态空间模型(SSM)在长序列建模方面巨大潜力的启发,我们引入了一种基于SSM的架构——Mamba,并提出了Pamba,这是一种具有强大全局建模能力且复杂度为线性的新型架构。具体而言,为了使点云的无序性适应Mamba的因果特性,我们提出了一种适用于点云的多路径序列化策略。此外,我们还提出了ConvMamba模块,以弥补Mamba在局部几何建模和单向建模方面的不足。Pamba在多个3D点云分割任务上取得了最先进的结果,包括ScanNet v2、ScanNet200、S3DIS和nuScenes,并通过大量实验验证了其有效性。