HyperAIHyperAI

Command Palette

Search for a command to run...

Differentiable Spike: Eine Neubewertung des Gradientenabstiegs zur Trainierung von Spiking Neural Networks

Shi Gu Yongqing Hai Shikuang Deng Shanghang Zhang Yufei Guo Yuhang Li

Zusammenfassung

Spiking Neural Networks (SNNs) sind als eine biologisch inspirierte Methode hervorgegangen, die das spiking-ähnliche Verhalten von Gehirnneuronen nachahmt. Diese Biomimetik begründet die hohe Energieeffizienz der Inferenz von SNNs auf neuromorpher Hardware. Gleichzeitig führt sie jedoch zu einem inhärenten Nachteil bei der Trainierung leistungsstarker SNNs von Grund auf, da die diskreten Spikes die Berechnung von Gradienten verhindern. Um dieses Problem zu überwinden, wurde der Ansatz der sogenannten Surrogate Gradient (SG) als kontinuierliche Relaxierung vorgeschlagen. Dennoch bleibt unklar, wie genau die SG-Methode den Trainingsprozess von SNNs verbessert, da die Auswahl der SG heuristisch erfolgt. In dieser Arbeit untersuchen wir zunächst theoretisch das Gradientenabstiegsproblem im Kontext des SNN-Trainings und führen eine finite-Differenzen-Gradienten-Methode ein, um das Trainingsverhalten von SNNs quantitativ zu analysieren. Auf Basis dieser finiten Differenzen-Gradienten schlagen wir eine neue Familie von differentiable Spike (Dspike)-Funktionen vor, die sich während des Trainings adaptiv entwickeln können, um die optimale Form und Glättung für die Gradientenschätzung zu finden. Umfangreiche Experimente an mehreren gängigen Netzwerkarchitekturen zeigen, dass das Training von SNNs mit Dspike konsistent die derzeit besten Trainingsmethoden übertrifft. Beispielsweise erreichen wir bei der Klassifizierungsaufgabe CIFAR10-DVS mit einem spiking ResNet-18 eine Top-1-Accuracy von 75,4 % bei nur 10 Zeitschritten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Differentiable Spike: Eine Neubewertung des Gradientenabstiegs zur Trainierung von Spiking Neural Networks | Paper | HyperAI