11 天前
PV-RCNN++:基于局部向量表示的点-体素特征集合抽象用于三维目标检测
Shaoshuai Shi, Li Jiang, Jiajun Deng, Zhe Wang, Chaoxu Guo, Jianping Shi, Xiaogang Wang, Hongsheng Li

摘要
三维目标检测因其在多个领域的广泛应用,正受到工业界与学术界的日益关注。本文提出了一种面向点云数据的三维目标检测方法——基于点-体素的区域卷积神经网络(Point-Voxel Region-based Convolutional Neural Networks, PV-RCNNs)。首先,我们提出了一种新型三维检测器PV-RCNN,通过两个创新步骤——体素到关键点的场景编码(voxel-to-keypoint scene encoding)以及关键点到网格的感兴趣区域(RoI)特征抽象(keypoint-to-grid RoI feature abstraction),深度融合基于点集抽象(point-based set abstraction)与基于体素稀疏卷积(voxel-based sparse convolution)的特征学习能力,显著提升了三维检测性能。其次,我们进一步提出了一种更高效、更精确的框架PV-RCNN++,包含两大改进:一是分扇区的提议中心采样策略(sectorized proposal-centric sampling),可高效生成更具代表性的关键点;二是VectorPool聚合机制(VectorPool aggregation),能够在大幅降低资源消耗的前提下,更优地聚合局部点特征。得益于上述两项策略,PV-RCNN++的推理速度相比PV-RCNN提升约3倍,同时在检测性能上也取得进一步突破。实验结果表明,所提出的PV-RCNN++框架在大规模且极具挑战性的Waymo Open Dataset上达到了当前最优的三维检测性能,在150米×150米的检测范围内实现了10 FPS的推理速度。