摘要
脉冲神经网络（Spiking Neural Networks, SNNs）在大脑中实现了低功耗、容错性强的信息处理，当部署在合适的类脑硬件加速器上时，有望成为传统深度神经网络的一种能效更优的替代方案。然而，在计算机中实现能够解决复杂计算任务的SNN仍面临重大挑战。目前，代理梯度（Surrogate Gradient, SG）方法已成为实现SNN端到端训练的标准技术。尽管如此，其性能仍高度依赖于突触权重的初始化方式，这一点与传统人工神经网络（ANNs）类似。然而，与ANNs不同的是，目前尚不清楚什么样的初始状态对SNN而言是“良好”的。本文提出了一种通用的SNN初始化策略，该策略受大脑中普遍观察到的“波动驱动”（fluctuation-driven）工作模式启发。具体而言，我们推导出适用于数据依赖性权重初始化的实用方法，确保在广泛使用的漏电积分-发放（Leaky Integrate-and-Fire, LIF）神经元中实现波动驱动的放电行为。实验结果表明，采用本策略初始化的SNN在使用SG方法训练时表现出更优越的学习性能。这一优势在多个数据集和多种SNN架构中均得到验证，包括全连接网络、深度卷积网络、循环网络，以及遵循Dale定律的更具生物学合理性的SNN模型。因此，波动驱动初始化为类脑计算工程与计算神经科学领域中提升SNN在多样化任务上的训练性能，提供了一种实用、通用且易于实现的有效策略。