基于LiDAR的4D全景分割通过动态移位网络

随着自动驾驶技术的迅速发展，为其感知系统配备更加全面的三维感知变得至关重要。然而，现有的研究主要集中在从激光雷达（LiDAR）传感器解析物体（如汽车和行人）或场景（如树木和建筑物）。在本研究中，我们探讨了基于激光雷达的全景分割任务，该任务旨在以统一的方式解析物体和场景。作为这一新挑战性任务的首批尝试之一，我们提出了动态移位网络（Dynamic Shifting Network, DS-Net），这是一种在点云领域内有效的全景分割框架。具体而言，DS-Net具有以下三个吸引人的特性：1) 强大的骨干设计。DS-Net采用了专门为激光雷达点云设计的圆柱卷积。2) 复杂点分布的动态移位。我们观察到，常用的聚类算法无法处理非均匀点云分布和不同实例大小带来的复杂自动驾驶场景问题。因此，我们提出了一种高效的可学习聚类模块——动态移位，该模块能够根据不同的实例实时调整核函数。3) 扩展至四维预测。此外，我们通过时间对齐的激光雷达帧上的统一实例聚类，将DS-Net扩展到了四维全景激光雷达分割。为了全面评估基于激光雷达的全景分割性能，我们从两个大规模自动驾驶激光雷达数据集——SemanticKITTI和nuScenes中构建并整理了基准测试数据。大量的实验表明，我们提出的DS-Net在这两项任务中均优于当前最先进的方法。特别是在单帧任务版本中，我们在PQ指标上比现有最佳方法高出1.8%；而在四维任务版本中，我们在LSTQ指标上超过了第二名5.4%。