Fehler-Rückpropagation basierend auf Spike-Zeit-Verschiebung in konvolutionellen spiking neural networks

Kürzlich haben wir den STiDi-BP-Algorithmus vorgeschlagen, der die rückwärts rekursive Berechnung von Gradienten vermeidet, um mehrschichtige spiking neural networks (SNNs) mit temporaler Kodierung basierend auf einzelnen Spikes zu trainieren. Der Algorithmus verwendet eine lineare Approximation, um die Ableitung der Spike-Latenz bezüglich der Membranpotential zu berechnen, und setzt spiking Neuronen mit stückweise linearen postsynaptischen Potentialen ein, um die Berechnungskosten und die Komplexität der neuronalen Verarbeitung zu reduzieren. In diesem Artikel erweitern wir den STiDi-BP-Algorithmus, um dessen Anwendung in tieferen und konvolutionellen Architekturen zu ermöglichen. Die Bewertungsergebnisse für die Bildklassifikationsaufgabe basierend auf zwei gängigen Benchmarks, den MNIST- und Fashion-MNIST-Datensätzen, mit jeweiligen Genauigkeiten von 99,2 % und 92,8 %, bestätigen, dass der Algorithmus in tiefen SNNs anwendbar ist. Ein weiteres betrachtetes Problem ist die Reduktion des Speicherbedarfs und der Rechenkosten. Um dies zu erreichen, untersuchen wir ein konvolutionelles SNN (CSNN) mit zwei Gewichtssätzen: reellwertige Gewichte, die im Rückwärtsdurchlauf aktualisiert werden, und deren Vorzeichen, binäre Gewichte, die im Vorwärtsdurchlauf eingesetzt werden. Wir evaluieren das binäre CSNN an zwei Datensätzen, MNIST und Fashion-MNIST, und erreichen eine akzeptable Leistung mit einer vernachlässigbaren Genauigkeitsabnahme gegenüber reellwertigen Gewichten (ca. 0,6 % und 0,8 % Abfall jeweils).