Point Cloud Mamba: 状態空間モデルを用いた点群学習

最近、状態空間モデルは、トランスフォーマーと対照的に、強力なグローバルモデリング能力と線形計算複雑さを示しています。本研究では、このようなアーキテクチャを用いて、点群データのグローバルモデリングをより効率的かつ効果的に線形計算複雑さで行う方法に焦点を当てています。特に、マンバベースの点群手法が初めてトランスフォーマーまたは多層パーセプトロン（MLPs）に基づく従来の手法を上回ることが示されました。マンバが3次元点群データをより効果的に処理できるようにするために、我々は新しい一貫巡回シリアライゼーション（Consistent Traverse Serialization）手法を提案します。この手法により、シーケンス内の近接する点が空間的にも隣接するように点群を1次元の点列に変換できます。一貫巡回シリアライゼーションは、\textit{x}、\textit{y}、\textit{z} 座標の順序を入れ替えることで6つのバリエントを生成し、これらのバリエントの一贯した使用によりマンバが点群データを包括的に観察できるようになります。さらに、異なる順序を持つ点列をマンバがより効果的に処理できるようにするために、シーケンスの配置規則をマンバに通知するためのポイントプロンプトを導入しました。最後に、空間座標マッピングに基づく位置エンコーディングを提案し、点群シーケンスに位置情報をより効果的に注入することを目指しました。Point Cloud Mamba (PCM) は最新の（SOTA）ポイントベースの手法であるPointNeXt を凌駕し、ScanObjectNN, ModelNet40, ShapeNetPart, S3DIS データセットにおいて新たなSOTA の性能を達成しました。特に強力な局所特徴抽出モジュールを使用した場合、PCM はS3DIS で79.6 mIoU を達成し、それぞれ5.5 mIoU および4.9 mIoU で以前のSOTA モデルであるDeLA およびPTv3 を大幅に上回っています。注：mIoU は平均交差比（mean Intersection over Union）の略称であり、セマンティックセグメンテーションにおける評価指標として広く使用されています。