摘要
本文提出了一种适用于事件驱动密集预测任务的低延迟神经网络架构。传统架构以固定频率对场景内容进行编码，而忽略了其时间特性。相比之下，所提出的网络根据场景内容的运动速度，自适应地在合适的时序尺度上进行编码。这一目标通过构建分层的时间记忆结构实现，该结构由以不同速率运行的堆叠潜在记忆模块组成。在低延迟事件流输入下，多层级记忆模块通过从快速记忆单元向慢速记忆单元逐级传递信息，逐步提取场景中的动态与静态内容。该架构不仅有效减少了传统方法中的冗余信息，还能够建模长期依赖关系。此外，基于注意力机制的事件表示方法可高效地将稀疏事件流编码为记忆单元中的信息。我们在三个基于事件的密集预测任务上进行了广泛评估，结果表明，所提出的方法在准确率和延迟方面均优于现有方法，同时展现出优异的事件与图像融合能力。代码已开源，地址为：https://hamarh.github.io/hmnet/