基于时间的在线训练方法在脉冲神经网络中的应用

脉冲神经网络（SNNs）是一种有前景的脑启发式节能模型。近年来，训练方法的进步使得在大规模任务中低延迟成功实现深度SNN成为可能。特别是，通过时间反向传播（BPTT）结合替代梯度（SG）被广泛用于在极少数时间步内实现高性能。然而，这种方法以较大的内存消耗为代价，缺乏优化的理论清晰性，并且与生物学习的在线特性及神经形态硬件上的规则不一致。其他研究工作将SNN的脉冲表示与等效的人工神经网络公式联系起来，并通过从等效映射中获取梯度来训练SNN，以确保下降方向。但这些方法未能实现低延迟，也不具备在线特性。在这项工作中，我们提出了SNN的在线通过时间训练（OTTT），该方法源自BPTT，通过跟踪突触前活动并利用瞬时损失和梯度来实现实时学习。同时，我们从理论上分析并证明了在前馈和递归条件下，OTTT的梯度可以提供与基于脉冲表示的梯度相似的优化下降方向。OTTT仅需固定的时间步无关的训练内存成本，从而避免了GPU训练中BPTT带来的显著内存开销。此外，OTTT的更新规则形式为三因子赫布学习（Three-Factor Hebbian Learning），这为在线芯片上学习铺平了道路。借助OTTT，这是首次将两种主流的监督SNN训练方法——带有SG的BPTT和基于脉冲表示的训练——连接起来，并且同时以一种生物学上合理的形式呈现。在CIFAR-10、CIFAR-100、ImageNet和CIFAR10-DVS数据集上的实验表明，我们的方法在大规模静态和神经形态数据集中的少量时间步内表现出优越性能。