基于深度状态空间模型的可扩展事件级神经形态感官信号处理

基于事件的传感器因其快速响应特性以及将感官数据编码为连续时间差的形式，非常适合实时处理。这些传感器还具备高动态范围等宝贵属性，但在转换为帧式数据格式时，这些优势往往被严重削弱。然而，目前大多数方法要么将事件数据压缩为帧，要么在直接逐事件处理时难以实现可扩展性。本文针对此类传感器所产生长序列事件流的逐事件建模可扩展性这一关键挑战提出解决方案，该问题在类脑计算领域尤为关键。尽管先前的方法仅能处理数千个时间步的事件序列，而我们的模型基于现代循环深度状态空间模型，可实现训练与推理阶段对数百万事件的长序列处理。我们充分利用其参数化稳定、序列维度上具备良好并行性，以及能够高效整合异步事件的特性，从而实现对长事件流的高效扩展。此外，我们引入一系列新颖的以事件为中心的技术，使模型在多个事件流基准测试中达到或超越当前最先进水平。在脉冲语音命令（Spiking Speech Commands）任务中，性能相较现有最优方法大幅提升7.7个百分点，达到88.4%。在DVS128-Gestures数据集上，我们无需依赖帧结构或卷积神经网络，即可获得具有竞争力的结果。本工作首次证明，仅通过完全基于事件的处理方式，并结合纯循环网络架构，即可在多个基于事件的基准任务中实现最先进的性能水平。