UniSeg：一种统一的多模态LiDAR分割网络及OpenPCSeg代码库

点、体素和距离视图是点云的三种典型表示形式。它们均具备精确的三维度量信息，但缺乏颜色与纹理信息。RGB图像作为这些点云视图的自然补充，充分融合其多模态信息有助于实现更鲁棒的感知。本文提出一种统一的多模态激光雷达分割网络——UniSeg，该网络同时利用RGB图像与点云的三种视图信息，实现语义分割与全景分割的联合任务。具体而言，我们首先设计了可学习的跨模态关联模块（Learnable cross-Modal Association, LMA），用于自动融合体素视图与距离视图特征与图像特征，充分挖掘图像中的丰富语义信息，并对标定误差具有较强的鲁棒性。随后，增强后的体素视图与距离视图特征被映射至点云空间，再通过可学习的跨视图关联模块（Learnable cross-View Association, LVA）实现对三种点云视图特征的自适应融合。值得注意的是，UniSeg在三个公开基准数据集（SemanticKITTI、nuScenes 和 Waymo Open Dataset, WOD）上均取得了优异性能，其中在两个基准的两项挑战中位列第一，包括 nuScenes 的激光雷达语义分割挑战以及 SemanticKITTI 的全景分割挑战。此外，我们构建了 OpenPCSeg 代码库，这是目前规模最大、最全面的室外激光雷达分割开源代码平台，集成了绝大多数主流的室外激光雷达分割算法，并提供了可复现的实现方案。OpenPCSeg 代码库将公开发布于 https://github.com/PJLab-ADG/PCSeg。