Faltungs-basierte Spiking Neuronale Netze für die Extraktion von Raum-Zeit-Features

Spiking Neuronale Netze (SNNs) können aufgrund ihrer ereignisbasierten Natur in Low-Power- und eingebetteten Systemen (wie z.B. neuromorphen Chips) eingesetzt werden. Zudem haben sie den Vorteil geringer Rechenkosten im Vergleich zu herkömmlichen künstlichen neuronalen Netzen (ANNs), wobei sie die Eigenschaften von ANNs beibehalten. Dennoch ist die zeitliche Kodierung in Schichten von konvolutorischen Spiking Neuronalen Netzen und anderen SNN-Typen bisher wenig untersucht worden. In dieser Arbeit geben wir Einblicke in die räumlich-zeitliche Merkmalsextraktion von konvolutorischen SNNs durch Experimente, die diese Eigenschaft nutzen. Das flache konvolutorische SNN übertrifft moderne Methoden zur räumlich-zeitlichen Merkmalsextraktion wie C3D, ConvLSTM und ähnliche Netzwerke. Darüber hinaus präsentieren wir eine neue tiefe Spiking-Architektur, um reale Probleme (insbesondere Klassifizierungsaufgaben) anzugehen, die eine überlegene Leistung im Vergleich zu anderen SNN-Methoden auf den Datensätzen NMNIST (99,6 %), DVS-CIFAR10 (69,2 %) und DVS-Gesture (96,7 %) sowie im Vergleich zu ANN-Methoden auf den Datensätzen UCF-101 (42,1 %) und HMDB-51 (21,5 %) erzielte. Es sei auch erwähnt, dass der Trainingsprozess auf einer Variante der räumlich-zeitlichen Rückwärtspropagation basiert, die in dieser Arbeit erklärt wird.