基于100万像素事件相机的目标检测

事件相机以高时间精度、低数据率和高动态范围编码视觉信息，因此在高速运动、光照条件复杂且对延迟敏感的应用场景中具有显著优势。然而，由于该领域仍处于发展初期，基于事件的视觉系统在诸多视觉任务上的性能仍显著低于传统的帧图像处理方案。造成这一性能差距的主要原因包括：事件传感器的空间分辨率低于传统帧相机；缺乏大规模的训练数据集；以及尚无成熟的深度学习架构用于事件数据处理。本文针对基于事件的物体检测任务，系统性地解决了上述问题。首先，我们公开发布了首个高分辨率、大规模的事件相机物体检测数据集。该数据集包含超过14小时的100万像素事件相机在车载场景下的录制数据，并配有2500万个标注框，涵盖汽车、行人及两轮车等目标，标注频率极高。其次，我们提出了一种新型的循环神经网络架构用于事件驱动的物体检测，并引入一种时间一致性损失函数，以实现更稳定、高效的训练过程。模型能够将事件序列高效地编码至其内部记忆中，这一能力对于实现高精度检测至关重要。实验结果表明，我们的模型在性能上大幅超越现有的前馈式事件检测架构。此外，我们的方法无需从事件数据重建灰度图像，证明了直接从原始事件数据进行训练不仅可行，而且比经过中间灰度图像重建的流程更高效、更准确。在本文所构建数据集上的实验进一步验证了这一点：该数据集同时提供了事件流与灰度图像，实验结果表明，我们的方法在检测性能上已达到与经过高度优化和深入研究的帧图像检测器相当的水平。