基于分层特征精炼网络的事件与帧融合目标检测

在基于帧的视觉系统中，由于传统摄像头感知能力有限，物体检测在复杂环境下会面临显著的性能下降。事件相机能够输出稀疏且异步的事件数据，为解决上述问题提供了潜在方案。然而，如何有效融合这两种异构模态仍是尚未解决的开放性问题。本文提出了一种新型的分层特征精炼网络，用于事件-帧融合。其核心思想是设计一种从粗到细的融合模块，称为跨模态自适应特征精炼（Cross-Modality Adaptive Feature Refinement, CAFR）模块。在初始阶段，双向跨模态交互（Bidirectional Cross-Modality Interaction, BCI）部分实现了来自两种不同模态间的信息桥接；随后，通过两阶段自适应特征精炼（Two-fold Adaptive Feature Refinement, TAFR）部分，对特征进行进一步优化，具体通过匹配双模态在通道维度上的均值与方差来实现。我们在两个基准数据集上进行了大量实验：低分辨率的PKU-DDD17-Car数据集和高分辨率的DSEC数据集。实验结果表明，所提方法在DSEC数据集上相比当前最先进方法取得了高达8.0%的性能提升。此外，在向帧图像引入15种不同类型的噪声干扰时，本方法展现出显著更强的鲁棒性（69.5% vs 38.7%）。代码已开源，可通过以下链接获取：https://github.com/HuCaoFighting/FRN。