Hybride Makro/Mikro-Ebene Backpropagation für das Training tiefer Spiking Neural Networks

Spiking neuronale Netze (SNNs) sind geeignet, um räumlich-zeitliche Informationsverarbeitung und ultra-niedrigenergetische ereignisgesteuerte neuromorphe Hardware zu ermöglichen. Allerdings erreichen SNNs noch nicht die gleiche Leistung wie herkömmliche tiefe künstliche neuronale Netze (ANNs). Dies stellt eine langjährige Herausforderung dar, bedingt durch komplexe Dynamiken und nicht differenzierbare Spike-Ereignisse, die während des Trainings auftreten. Die existierenden Fehler-Rückwärtspropagation (BP) Methoden für SNNs sind in Bezug auf Skalierbarkeit begrenzt, fehlen eine angemessene Behandlung der Spiking-Unterbrechungen und/oder gibt es einen Missstand zwischen der frequenzcodierten Verlustfunktion und dem berechneten Gradienten. Wir präsentieren einen hybriden Makro-/Mikroebenen Backpropagation (HM2-BP) Algorithmus zum Trainieren von mehrschichtigen SNNs. Die zeitlichen Effekte werden auf mikroskopischer Ebene durch das vorgeschlagene Spike-Zugniveau Post-Synaptische Potentiale (S-PSP) präzise erfasst. Die frequenzcodierten Fehler werden auf makroskopischer Ebene definiert, berechnet und über beide Ebenen zurückpropagiert. Im Gegensatz zu den existierenden BP-Methoden berechnet HM2-BP direkt den Gradienten der frequenzcodierten Verlustfunktion in Bezug auf die einstellbaren Parameter. Wir evaluieren den vorgeschlagenen HM2-BP-Algorithmus durch das Training von tiefen vollständig verbundenen und konvolutiven SNNs basierend auf dem statischen MNIST [14] und dem dynamischen neuromorphen N-MNIST [26]. HM2-BP erreicht Genauigkeitsebenen von 99,49 % und 98,88 % für MNIST und N-MNIST, was die besten bisher gemeldeten Leistungen der existierenden SNN-BP-Algorithmen übertrifft. Darüber hinaus liefert HM2-BP die höchsten Genauigkeiten basierend auf SNNs für den EMNIST [3]-Datensatz und führt zu einer hohen Erkennungsrate für die 16-Sprecher gesprochenen englischen Buchstaben des TI46-Korpus [16], einem anspruchsvollen räumlich-zeitlichen Spracherkennungsbenchmark, bei dem bislang keine Erfolge mit SNNs berichtet wurden. Es erzielt auch wettbewerbsfähige Leistungen, die jene herkömmlicher Tiefen-Lernmodelle übertreffen, wenn es um asynchrone Spiking-Datenströme geht.