HyperAIHyperAI

Command Palette

Search for a command to run...

Fehler-Rückpropagation basierend auf Spike-Zeit-Verschiebung in konvolutionellen spiking neural networks

Maryam Mirsadeghi Majid Shalchian Saeed Reza Kheradpisheh Timothée Masquelier

Zusammenfassung

Kürzlich haben wir den STiDi-BP-Algorithmus vorgeschlagen, der die rückwärts rekursive Berechnung von Gradienten vermeidet, um mehrschichtige spiking neural networks (SNNs) mit temporaler Kodierung basierend auf einzelnen Spikes zu trainieren. Der Algorithmus verwendet eine lineare Approximation, um die Ableitung der Spike-Latenz bezüglich der Membranpotential zu berechnen, und setzt spiking Neuronen mit stückweise linearen postsynaptischen Potentialen ein, um die Berechnungskosten und die Komplexität der neuronalen Verarbeitung zu reduzieren. In diesem Artikel erweitern wir den STiDi-BP-Algorithmus, um dessen Anwendung in tieferen und konvolutionellen Architekturen zu ermöglichen. Die Bewertungsergebnisse für die Bildklassifikationsaufgabe basierend auf zwei gängigen Benchmarks, den MNIST- und Fashion-MNIST-Datensätzen, mit jeweiligen Genauigkeiten von 99,2 % und 92,8 %, bestätigen, dass der Algorithmus in tiefen SNNs anwendbar ist. Ein weiteres betrachtetes Problem ist die Reduktion des Speicherbedarfs und der Rechenkosten. Um dies zu erreichen, untersuchen wir ein konvolutionelles SNN (CSNN) mit zwei Gewichtssätzen: reellwertige Gewichte, die im Rückwärtsdurchlauf aktualisiert werden, und deren Vorzeichen, binäre Gewichte, die im Vorwärtsdurchlauf eingesetzt werden. Wir evaluieren das binäre CSNN an zwei Datensätzen, MNIST und Fashion-MNIST, und erreichen eine akzeptable Leistung mit einer vernachlässigbaren Genauigkeitsabnahme gegenüber reellwertigen Gewichten (ca. 0,6 % und 0,8 % Abfall jeweils).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Fehler-Rückpropagation basierend auf Spike-Zeit-Verschiebung in konvolutionellen spiking neural networks | Paper | HyperAI