HyperAIHyperAI
vor 15 Tagen

Robuste und beschleunigte Trainingsmethode für ein-Spike-Spiking Neural Networks mit Anwendbarkeit auf anspruchsvolle zeitliche Aufgaben

Luke Taylor, Andrew King, Nicol Harper
Robuste und beschleunigte Trainingsmethode für ein-Spike-Spiking Neural Networks mit Anwendbarkeit auf anspruchsvolle zeitliche Aufgaben
Abstract

Spiking Neural Networks (SNNs), insbesondere die Variante mit Einzelspikes, bei der Neuronen maximal einmal feuern, sind erheblich energiesparender als herkömmliche künstliche neuronale Netze (ANNs). Allerdings sind Einzelspike-SNNs aufgrund ihrer dynamischen und nicht differenzierbaren Natur schwer zu trainieren, wobei bestehende Ansätze entweder zu langsam sind oder mit Trainingsinstabilitäten kämpfen. Diese Netzwerke wurden zudem kritisiert, weil sie aufgrund ihrer begrenzten rechnerischen Anwendbarkeit – beispielsweise aufgrund ihrer Ungeeignetheit für zeitabhängige Datensätze – eingeschränkt einsetzbar erscheinen. Wir stellen ein neues Modell zur Trainingsoptimierung von Einzelspike-SNNs vor, das die oben genannten Trainingsprobleme reduziert und gleichzeitig wettbewerbsfähige Ergebnisse auf verschiedenen Bild- und neuromorphen Datensätzen erzielt. Im Vergleich zu Multi-Spike-SNNs erreichen wir bis zu einer 13,98-fachen Beschleunigung des Trainingsprozesses und eine Reduktion der Spikes um bis zu 81 %. Insbesondere zeigt unser Modell eine Leistung, die mit der von Multi-Spike-SNNs bei anspruchsvollen Aufgaben mit neuromorphen Zeitreihendaten konkurriert, was darauf hindeutet, dass Einzelspike-SNNs eine weitaus größere rechnerische Relevanz besitzen, als bisher angenommen.

Robuste und beschleunigte Trainingsmethode für ein-Spike-Spiking Neural Networks mit Anwendbarkeit auf anspruchsvolle zeitliche Aufgaben | Neueste Forschungsarbeiten | HyperAI