摘要
事件相机是一种新型传感器，它以异步“事件”流的形式报告亮度变化，而不是传统的强度帧。与传统相机相比，事件相机具有显著的优势：高时间分辨率、高动态范围以及无运动模糊。虽然事件流在理论上编码了完整的视觉信号，但在实际应用中从事件流重建强度图像是一个病态问题。现有的重建方法依赖于手工设计的先验知识和对成像过程及自然图像统计的强烈假设。在本研究中，我们提出了一种直接从数据中学习如何从事件流重建强度图像的方法，而不依赖任何手工设计的先验知识。我们设计了一个新的递归网络来从事件流中重建视频，并在大量模拟事件数据上对其进行训练。在训练过程中，我们建议使用感知损失来促使重建结果符合自然图像的统计特性。我们进一步扩展了该方法，以从彩色事件流中合成彩色图像。我们的网络在图像质量方面（超过20%）大幅超越现有最先进的重建方法，并且能够实时运行。我们展示了该网络能够合成高速现象（例如子弹击中物体）的高帧率视频（> 5,000 帧/秒），并且在挑战性的光照条件下提供高动态范围的重建效果。此外，我们还证明了我们的重建结果作为事件数据的中间表示的有效性。实验表明，现成的计算机视觉算法可以应用于我们的重建结果进行诸如目标分类和视觉惯性里程计等任务，并且这种策略始终优于专门为事件数据设计的算法。