2달 전
시리얼라이즈드 포인트 맬바: 시리얼라이즈드 포인트 클라우드 맬바 세그멘테이션 모델
Wang, Tao ; Wen, Wei ; Zhai, Jingzhi ; Xu, Kang ; Luo, Haoming

초록
포인트 클라우드 분할은 로봇 시각 인식과 환경 이해에 필수적이며, 로봇 네비게이션 및 3D 재구성 등의 응용 프로그램을 가능하게 합니다. 그러나 포인트 클라우드 데이터의 희소하고 순서가 없는 특성을 처리하는 것은 효율적이고 정확한 분할을 위한 도전 과제입니다. 자연어 처리에서 맘바 모델의 성공을 바탕으로, 우리는 상태 공간 모델을 활용하여 시퀀스를 동적으로 압축하고 메모리 사용량을 줄이며 계산 효율성을 높이는 직렬화된 포인트 클라우드 맘바 분할 모델(Serialized Point Mamba)을 제안합니다. 직렬화된 포인트 맘바는 지역-전역 모델링 능력을 선형 복잡도로 통합하여 실내 및 실외 데이터셋에서 최고 수준의 성능을 달성하였습니다. 이 접근 방식은 단계별 포인트 클라우드 시퀀스 학습, 그리드 풀링, 조건부 위치 인코딩(Conditional Positional Encoding) 등 새로운 기술들을 포함하여 다양한 포인트 클라우드 작업에서 효과적인 분할을 지원합니다. 우리의 방법은 스캔넷(Scannet)에서 76.8 mIoU와 S3DIS에서 70.3 mIoU를 달성하였으며, 스캔넷 v2 인스턴스 분할에서는 40.0 mAP를 기록하였습니다. 또한 가장 낮은 지연 시간과 적절한 메모리 사용량을 보여주어, 맘바 기반의 포인트 의미론적 분할 모델 중 최고 수준(SOTA)의 성능을 자랑합니다.