基于视图聚合的三维提案生成与物体检测联合方法

我们提出了一种名为AVOD（Aggregate View Object Detection）的网络，用于自动驾驶场景中的目标检测。该神经网络架构利用激光雷达点云和RGB图像生成特征，这些特征由两个子网络共享：一个区域提议网络（Region Proposal Network, RPN）和一个第二阶段检测网络。所提出的RPN采用了一种新颖的架构，能够在高分辨率特征图上执行多模态特征融合，从而在道路场景中为多个目标类别生成可靠的3D目标提议。利用这些提议，第二阶段检测网络进行精确的定向3D边界框回归和类别分类，以预测3D空间中目标的范围、方向和分类。实验结果表明，我们的架构在KITTI 3D目标检测基准测试中达到了最先进的水平，并且能够在低内存占用的情况下实时运行，使其成为适用于自动驾驶车辆部署的理想候选方案。代码地址：https://github.com/kujason/avod