포인트 클라우드 맘바: 상태 공간 모델을 통한 포인트 클라우드 학습

최근 상태 공간 모델은 트랜스포머와 대조적으로 강력한 전역 모델링 능력과 선형 계산 복잡도를 보여주고 있습니다. 본 연구는 이러한 아키텍처를 이용하여 전역적으로 점군 데이터를 더 효율적이고 효과적으로 모델링하는 방법을 제안합니다. 특히, 우리는 맘바(Mamba) 기반의 점군 방법이 처음으로 트랜스포머나 다층 퍼셉트론(MLPs) 기반의 이전 방법들을 능가할 수 있음을 입증하였습니다. 맘바가 3차원 점군 데이터를 더 효과적으로 처리할 수 있도록 하기 위해, 우리는 새로운 일관된 순회 직렬화(Consistent Traverse Serialization) 방법을 제안하여 점군을 1차원 점 시퀀스로 변환하면서 시퀀스 내에서 인접한 점들이 공간적으로도 인접하도록 합니다. 일관된 순회 직렬화는 \textit{x}, \textit{y}, \textit{z} 좌표의 순서를 바꾸어 여섯 가지 변형을 생성하며, 이러한 변형들의 상호작용은 맘바가 점군 데이터를 종합적으로 관찰하는 데 도움을 줍니다. 또한, 맘바가 서로 다른 순서의 점 시퀀스를 더 효과적으로 처리할 수 있도록 하기 위해, 시퀀스의 배열 규칙을 알려주는 포인트 프롬프트(point prompts)를 도입하였습니다. 마지막으로, 우리는 공간 좌표 매핑에 기반한 위치 인코딩 방법을 제안하여 점군 시퀀스에 위치 정보를 더 효과적으로 주입하였습니다. 맘바 기반의 점군 모델(Point Cloud Mamba)은 최신 기술(SOTA)인 포인트 기반 메소드 PointNeXt를 능가하고, ScanObjectNN, ModelNet40, ShapeNetPart, S3DIS 데이터셋에서 새로운 SOTA 성능을 달성하였습니다. 특히, 더 강력한 국소 특징 추출 모듈을 사용할 때 우리의 PCM은 S3DIS에서 79.6 mIoU를 달성하여 이전 SOTA 모델인 DeLA와 PTv3보다 각각 5.5 mIoU와 4.9 mIoU만큼 크게 우수한 성능을 보였습니다.