RGB-事件融合用于自动驾驶中的运动物体检测

移动物体检测（MOD）是实现安全自动驾驶的关键视觉任务。尽管深度学习方法取得了合理的结果，但大多数现有的方法仅基于单帧图像，可能在处理动态交通参与者时无法达到理想的性能。近年来，传感器技术的进步，特别是事件相机的发展，可以自然地补充传统相机的方法，更好地建模移动物体。然而，基于事件的工作通常采用预定义的时间窗口来表示事件，并简单地将其整合以从事件中估计图像强度，忽略了可用异步事件中的丰富时间信息。因此，我们从一个新的视角出发，提出了一种新颖的RGB-Event融合网络——RENet，该网络联合利用这两种互补的模态，在挑战性的自动驾驶场景下实现更加鲁棒的MOD。具体而言，我们首先设计了一个时间多尺度聚合模块，充分利用RGB曝光时间和更大时间间隔内的事件帧。然后引入了一个双向融合模块，有选择性地校准和融合多模态特征。为了评估我们网络的性能，我们从常用的DSEC数据集中精心挑选并标注了一个子MOD数据集。大量实验表明，我们的方法显著优于当前最先进的RGB-Event融合方案。源代码和数据集已公开发布在：https://github.com/ZZY-Zhou/RENet。