Differentiable Spike: Eine Neubewertung des Gradientenabstiegs zur Trainierung von Spiking Neural Networks

Spiking Neural Networks (SNNs) sind als eine biologisch inspirierte Methode hervorgegangen, die das spiking-ähnliche Verhalten von Gehirnneuronen nachahmt. Diese Biomimetik begründet die hohe Energieeffizienz der Inferenz von SNNs auf neuromorpher Hardware. Gleichzeitig führt sie jedoch zu einem inhärenten Nachteil bei der Trainierung leistungsstarker SNNs von Grund auf, da die diskreten Spikes die Berechnung von Gradienten verhindern. Um dieses Problem zu überwinden, wurde der Ansatz der sogenannten Surrogate Gradient (SG) als kontinuierliche Relaxierung vorgeschlagen. Dennoch bleibt unklar, wie genau die SG-Methode den Trainingsprozess von SNNs verbessert, da die Auswahl der SG heuristisch erfolgt. In dieser Arbeit untersuchen wir zunächst theoretisch das Gradientenabstiegsproblem im Kontext des SNN-Trainings und führen eine finite-Differenzen-Gradienten-Methode ein, um das Trainingsverhalten von SNNs quantitativ zu analysieren. Auf Basis dieser finiten Differenzen-Gradienten schlagen wir eine neue Familie von differentiable Spike (Dspike)-Funktionen vor, die sich während des Trainings adaptiv entwickeln können, um die optimale Form und Glättung für die Gradientenschätzung zu finden. Umfangreiche Experimente an mehreren gängigen Netzwerkarchitekturen zeigen, dass das Training von SNNs mit Dspike konsistent die derzeit besten Trainingsmethoden übertrifft. Beispielsweise erreichen wir bei der Klassifizierungsaufgabe CIFAR10-DVS mit einem spiking ResNet-18 eine Top-1-Accuracy von 75,4 % bei nur 10 Zeitschritten.