摘要
脉冲神经网络（SNNs）有望实现时空信息处理和超低功耗事件驱动的类脑硬件。然而，SNNs 尚未达到传统深度人工神经网络（ANNs）的性能水平，这主要是由于训练过程中遇到的复杂动态特性和不可微分的脉冲事件所带来的长期挑战。现有的 SNN 误差反向传播（BP）方法在可扩展性、对脉冲不连续性的不当处理以及速率编码损失函数与计算梯度之间的不匹配方面存在局限性。本文提出了一种用于多层 SNNs 训练的混合宏观/微观层次反向传播（HM2-BP）算法。在微观层次上，通过提出的脉冲序列级突触后电位（S-PSP）精确捕捉时间效应。在宏观层次上定义了速率编码误差，并在宏观和微观层次之间进行计算和反向传播。与现有 BP 方法不同，HM2-BP 直接计算速率编码损失函数相对于可调参数的梯度。我们通过基于静态 MNIST [14] 和动态类脑 N-MNIST [26] 数据集训练深层全连接和卷积 SNNs 来评估所提出的 HM2-BP 算法。结果表明，HM2-BP 在 MNIST 和 N-MNIST 上分别达到了 99.49% 和 98.88% 的准确率，超过了现有 SNN BP 算法的最佳报告性能。此外，HM2-BP 基于 SNNs 在 EMNIST [3] 数据集上也取得了最高的准确率，并且在 TI46 语料库 [16] 中 16 名说话人的英语字母识别这一具有挑战性的时空语音识别基准测试中实现了高识别准确率，而此前尚未有基于 SNNs 的成功案例报道。该算法在处理异步脉冲流时也能取得与传统深度学习模型相当甚至更好的性能。