基于事件相机与RGB相机融合的恶劣环境下鲁棒目标检测

在图像受到噪声污染或遭遇不同天气条件时，准确检测物体的能力对于深度学习模型至关重要，尤其是在自动驾驶等真实应用场景中。传统的基于RGB图像的检测方法在上述条件下表现不佳，因此设计一种对主帧式检测系统失效具有冗余容错能力的传感器组合显得尤为重要。事件相机（event-based cameras）能够在低光照和高动态范围等复杂场景下，有效补充传统帧式相机的不足，这些场景正是自动驾驶车辆在行驶过程中可能遇到的。为此，本文提出了一种基于事件相机与帧式相机的冗余传感器融合模型，该模型对常见图像退化具有更强的鲁棒性。该方法采用体素网格（voxel grid）表示事件数据作为输入，并设计了一个双并行特征提取网络，分别处理图像帧与事件数据。实验结果表明，相较于仅依赖帧式相机的检测方法，本模型在面对图像退化时的鲁棒性提升超过30%；同时，其性能也显著优于仅使用事件相机的检测方案。该模型在公开发布的DSEC数据集上进行了训练与评估。