使用条件代价体积归一化的立体匹配网络实现3D LiDAR与立体视觉融合

主动和被动深度感知技术的互补特性激发了将LiDAR传感器和立体相机融合以提高深度感知的想法。我们并没有直接在LiDAR和立体模态之间融合估计的深度值，而是利用了两种增强技术：输入融合（Input Fusion）和基于LiDAR信息的条件代价体归一化（Conditional Cost Volume Normalization, CCVNorm），来改进立体匹配网络。所提出的框架具有通用性，并且与立体匹配神经网络中常用的代价体组件紧密集成。我们在KITTI立体视觉和深度补全数据集上进行了实验验证，证明了该方法的有效性和鲁棒性，并且在各种融合策略中表现出优异的性能。此外，我们还展示了通过CCVNorm的层次扩展，该方法仅对立体匹配网络的计算时间和模型大小带来了轻微的开销。项目页面请参见：https://zswang666.github.io/Stereo-LiDAR-CCVNorm-Project-Page/