Fluktuationsgesteuerte Initialisierung für die Ausbildung von spiking neural networks

Spiking Neural Networks (SNNs) liegen der energiesparenden und fehlertoleranten Informationsverarbeitung im Gehirn zugrunde und könnten im Falle einer Implementierung auf geeigneten neuromorphen Hardware-Acceleratoren eine leistungseffiziente Alternative zu herkömmlichen tiefen neuronalen Netzen darstellen. Die In-silico-Realisierung von SNNs, die komplexe computationale Aufgaben lösen, bleibt jedoch eine erhebliche Herausforderung. Surrogate-Gradient-(SG)-Techniken sind als Standardansatz zur end-to-end-Training von SNNs hervorgetreten. Ihre Erfolgsaussichten hängen jedoch wie bei herkömmlichen künstlichen neuronalen Netzen (ANNs) stark von der Initialisierung der synaptischen Gewichte ab. Im Gegensatz zu ANNs bleibt jedoch unklar, was eine gute Anfangszustandskonfiguration für ein SNN ausmacht. In dieser Arbeit entwickeln wir eine allgemeine Initialisierungsstrategie für SNNs, die sich an dem im Gehirn häufig beobachteten Fluktuationen-getriebenen Regime orientiert. Insbesondere leiten wir praktikable Lösungen für datenabhängige Gewichtsinitialisierungen ab, die eine fluktuationen-getriebene Aktivität in den weit verbreiteten leaky integrate-and-fire (LIF)-Neuronen gewährleisten. Wir zeigen empirisch, dass SNNs, die nach unserer Strategie initialisiert werden, bei der Anwendung von SGs eine überlegene Lernleistung aufweisen. Diese Ergebnisse verallgemeinern sich über mehrere Datensätze und SNN-Architekturen hinweg, einschließlich vollständig verbundener, tiefer konvolutioneller, rekurrenter sowie biologisch plausiblerer SNNs, die Dale’sches Gesetz befolgen. Somit bietet die fluktuationen-getriebene Initialisierung eine praktikable, vielseitige und leicht umzusetzende Strategie zur Verbesserung der Trainingsleistung von SNNs bei vielfältigen Aufgaben im Bereich der neuromorphen Ingenieurwissenschaft und der computativen Neurowissenschaft.