端到端学习异步事件数据的表示方法

事件相机是一种视觉传感器，能够记录每个像素亮度变化的异步流，这些变化被称为“事件”。与基于帧的相机相比，事件相机在计算机视觉领域具有显著的优势，包括高时间分辨率、高动态范围以及无运动模糊。由于事件信号在时空布局上是稀疏且非均匀的，模式识别算法通常会将事件聚合为基于网格的表示形式，然后通过标准的视觉处理管道（例如卷积神经网络（CNN））进行后续处理。在这项工作中，我们提出了一种通用框架，通过一系列可微操作将事件流转换为基于网格的表示形式。该框架具有两个主要优势：(i) 可以端到端地学习输入事件表示与任务专用网络；(ii) 提出了一种分类法，统一了文献中大多数现有的事件表示方法，并识别出新的表示方法。实验结果表明，我们的端到端学习事件表示的方法在光流估计和物体识别任务上比现有最先进方法提高了约12%。