Lernverzögerungen in spiking neural networks mittels dilatierten Faltungen mit lernbaren Abständen

Spiking Neural Networks (SNNs) stellen eine vielversprechende Forschungsrichtung für die Entwicklung energiesparender Informationsverarbeitungssysteme dar, insbesondere für zeitliche Aufgaben wie die Spracherkennung. In SNNs bezeichnen Verzögerungen die Zeit, die ein Spike benötigt, um von einem Neuron zum nächsten zu gelangen. Diese Verzögerungen sind von Bedeutung, da sie die Ankunftszeiten der Spikes beeinflussen, und es ist bekannt, dass spiking Neuronen stärker auf gleichzeitige Eingabespikes reagieren. Formal wurde theoretisch gezeigt, dass plastische Verzögerungen die Ausdruckskraft von SNNs erheblich erhöhen. Effiziente Algorithmen zur Lernung dieser Verzögerungen fehlten jedoch bisher. In diesem Beitrag stellen wir einen neuen diskreten Zeitalgorithmus vor, der dieses Problem in tiefen feedforward SNNs mit Hilfe von Backpropagation im offline-Modus adressiert. Um Verzögerungen zwischen aufeinanderfolgenden Schichten zu simulieren, verwenden wir eindimensionale Faltungen über die Zeit. Die Kerne enthalten lediglich wenige nicht-null Gewichte – je eines pro Synapse – deren Positionen den Verzögerungen entsprechen. Diese Positionen werden gemeinsam mit den Gewichten mittels des kürzlich vorgeschlagenen Dilated Convolution with Learnable Spacings (DCLS) gelernt. Wir haben unsere Methode an drei Datensätzen evaluiert: dem Spiking Heidelberg Dataset (SHD), dem Spiking Speech Commands (SSC) und seiner nicht-spiking-Variante Google Speech Commands v0.02 (GSC), die alle die Erkennung zeitlicher Muster erfordern. Wir verwendeten feedforward SNNs mit zwei oder drei versteckten vollständig verbundenen Schichten sowie herkömmliche leaky integrate-and-fire-Neuronen. Wir zeigten, dass feste zufällige Verzögerungen hilfreich sind und dass deren Lernung noch effektiver ist. Zudem übertraf unsere Methode die derzeitigen State-of-the-Art-Methoden auf allen drei Datensätzen, ohne rekurrente Verbindungen zu nutzen und mit erheblich weniger Parametern. Unsere Arbeit demonstriert das Potenzial der Verzögerungslernung bei der Entwicklung präziser und genauer Modelle für die Verarbeitung zeitlicher Daten. Unser Code basiert auf PyTorch / SpikingJelly und ist unter folgender URL verfügbar: https://github.com/Thvnvtos/SNN-delays