Pamba: 상태 공간 모델을 통한 포인트 클라우드의 전역 상호작용 향상

트랜스포머는 3D 포인트 클라우드의 의미 분할에서 뛰어난 결과를 보여주었습니다. 그러나 트랜스포머의 이차 복잡도는 계산 비용을 높게 만들고, 동시에 처리할 수 있는 포인트의 수를 제한하며, 단일 장면 내 객체 간의 장거리 의존성을 모델링하는 것을 방해합니다. 최근 상태 공간 모델(SSM)이 장 시퀀스 모델링에 큰 잠재력을 보여준 것에서 영감을 얻어, 우리는 포인트 클라우드 영역에 SSM 기반 아키텍처를 도입하고, 선형 복잡도 하에서 강력한 전역 모델링 능력을 가진 새로운 아키텍처인 Pamba를 제안합니다. 구체적으로, 포인트 클라우드의 무질서성을 Mamba의 인과적 특성에 맞추기 위해 다중 경로 직렬화 전략을 제안합니다. 또한, Mamba가 로컬 기하학과 단방향 모델링에서 부족한 점을 보완하기 위해 ConvMamba 블록을 제안합니다. Pamba는 ScanNet v2, ScanNet200, S3DIS 및 nuScenes 등의 여러 3D 포인트 클라우드 분할 작업에서 최신 연구 결과를 달성하며, 그 효과성은 광범위한 실험을 통해 검증되었습니다.