Untersuchung von strombasierten und gatingsbasierten Ansätzen für präzise und energieeffiziente spiking rekurrente neuronale Netze

Spiking Neural Networks (SNNs), die auf spikbasierten Berechnungen und Kommunikationen basieren, könnten für eingebettete Anwendungen energieeffizienter sein als künstliche neuronale Netze (ANNs). Allerdings wurden SNNs bisher hauptsächlich für die Bildverarbeitung eingesetzt, obwohl auditive Anwendungen besser zu ihren zeitlichen Dynamiken passen. Wir evaluieren die Genauigkeit und Energieeffizienz von Leaky Integrate-and-Fire (LIF)-Modellen auf spikbasierten Audiodatenbanken im Vergleich zu ANNs. Wir zeigen, dass das currentbasierte LIF-Modell (Cuba-LIF) für die Verarbeitung zeitlicher Sequenzen das herkömmliche LIF-Modell übertrifft. Zudem haben gated rekurrente Netze gegenüber einfachen rekurrenten Netzen eine höhere Genauigkeit für solche Aufgaben demonstriert. Daher stellen wir SpikGRU vor, eine gatemodierte Variante des Cuba-LIF. SpikGRU erreicht eine höhere Genauigkeit als andere rekurrente SNNs bei der anspruchsvollsten Aufgabe, die in dieser Arbeit untersucht wurde. Das Cuba-LIF und SpikGRU erreichen eine state-of-the-art-Genauigkeit, die lediglich um weniger als 1,1 % unter der Genauigkeit der besten ANNs liegt, während sie gegenüber ANNs bis zu eine 49-fache Reduktion der Anzahl an Operationen aufweisen, bedingt durch die hohe Spikesparsität.