HyperAIHyperAI

Command Palette

Search for a command to run...

Sparse Spiking Gradient Descent

Nicolas Perez-Nieves Dan F.M. Goodman

Zusammenfassung

Aufgrund ihres geringen Energieverbrauchs nimmt das Interesse an der Emulation von spiking neural networks (SNNs) auf neuromorphen Rechengeräten kontinuierlich zu. Neuere Fortschritte haben es ermöglicht, SNNs so zu trainieren, dass sie in Bezug auf Genauigkeit zunehmend mit herkömmlichen künstlichen neuronalen Netzen (ANNs) konkurrieren, während sie gleichzeitig auf neuromorphen Hardwareplattformen energiesparend arbeiten. Allerdings basiert der Trainingsprozess von SNNs nach wie vor auf dichten Tensoroperationen, die ursprünglich für ANNs entwickelt wurden und die raum-zeitlich spärliche Natur von SNNs nicht ausnutzen. In diesem Beitrag präsentieren wir den ersten sparsamen Backpropagation-Algorithmus für SNNs, der eine vergleichbare oder sogar bessere Genauigkeit erzielt als aktuelle State-of-the-Art-Methoden, gleichzeitig aber deutlich schneller und speichereffizienter ist. Wir demonstrieren die Wirksamkeit unseres Ansatzes an realen Datensätzen unterschiedlicher Komplexität (Fashion-MNIST, Neuromorphic-MNIST und Spiking Heidelberg Digits), wobei wir bei der Rückwärtsphase Geschwindigkeitssteigerungen von bis zu 150-fach und eine Speichereffizienz um 85 % höher erreichen, ohne dabei an Genauigkeit zu verlieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Sparse Spiking Gradient Descent | Paper | HyperAI