Sparse Spiking Gradient Descent

Aufgrund ihres geringen Energieverbrauchs nimmt das Interesse an der Emulation von spiking neural networks (SNNs) auf neuromorphen Rechengeräten kontinuierlich zu. Neuere Fortschritte haben es ermöglicht, SNNs so zu trainieren, dass sie in Bezug auf Genauigkeit zunehmend mit herkömmlichen künstlichen neuronalen Netzen (ANNs) konkurrieren, während sie gleichzeitig auf neuromorphen Hardwareplattformen energiesparend arbeiten. Allerdings basiert der Trainingsprozess von SNNs nach wie vor auf dichten Tensoroperationen, die ursprünglich für ANNs entwickelt wurden und die raum-zeitlich spärliche Natur von SNNs nicht ausnutzen. In diesem Beitrag präsentieren wir den ersten sparsamen Backpropagation-Algorithmus für SNNs, der eine vergleichbare oder sogar bessere Genauigkeit erzielt als aktuelle State-of-the-Art-Methoden, gleichzeitig aber deutlich schneller und speichereffizienter ist. Wir demonstrieren die Wirksamkeit unseres Ansatzes an realen Datensätzen unterschiedlicher Komplexität (Fashion-MNIST, Neuromorphic-MNIST und Spiking Heidelberg Digits), wobei wir bei der Rückwärtsphase Geschwindigkeitssteigerungen von bis zu 150-fach und eine Speichereffizienz um 85 % höher erreichen, ohne dabei an Genauigkeit zu verlieren.