卷积脉冲神经网络用于时空特征提取

脉冲神经网络（SNNs）由于其基于事件的特性，可以在低功耗和嵌入式系统（如新兴的神经形态芯片）中使用。此外，与传统的前馈人工神经网络（ANNs）相比，它们具有较低的计算成本，同时保留了ANNs的性质。然而，卷积脉冲神经网络及其他类型SNNs中的时间编码尚未得到充分研究。在本文中，我们通过设计实验来利用这一特性，探讨了卷积SNNs的空间-时间特征提取机制。浅层卷积SNN在性能上超过了当前最先进的空间-时间特征提取方法，如C3D、ConvLSTM及类似网络。此外，我们提出了一种新的深层脉冲架构来解决实际问题（特别是分类任务），该架构在NMNIST（99.6%）、DVS-CIFAR10（69.2%）和DVS-Gesture（96.7%）数据集上的表现优于其他SNN方法，在UCF-101（42.1%）和HMDB-51（21.5%）数据集上的表现也优于ANN方法。值得注意的是，训练过程是基于本文所解释的空间-时间反向传播变体实现的。