DSGN++：利用视觉空间关系的基于立体视觉的3D检测器

基于摄像头的3D目标检测器因其更广泛的部署和比激光雷达传感器更低的价格而受到欢迎。我们首先回顾了先前的立体检测器DSGN，该检测器通过立体体积构建方法来表示3D几何和语义信息。我们改进了立体建模，并提出了高级版本DSGN++，旨在从三个方面增强2D到3D管道中的有效信息流。首先，为了有效地将2D信息提升到立体体积中，我们提出了一种深度平面扫描（Depth-wise Plane Sweeping, DPS）方法，该方法允许更密集的连接并提取深度引导特征。其次，为了捕捉不同间距的特征，我们引入了一种新的立体体积——双视图立体体积（Dual-view Stereo Volume, DSV），该体积整合了前视图和顶视图特征，并在相机视锥内重建亚体素深度。第三，随着前景区域在3D空间中变得不那么显著，我们提出了一种多模态数据编辑策略——立体激光雷达复制粘贴（Stereo-LiDAR Copy-Paste），该策略确保跨模态对齐并提高数据效率。在流行的KITTI基准测试上进行的各种模态设置下的大量实验表明，我们的方法在所有类别中均持续优于其他基于摄像头的3D检测器。代码可在https://github.com/chenyilun95/DSGN2 获取。