HyperAIHyperAI

Command Palette

Search for a command to run...

Fluktuationsgesteuerte Initialisierung für die Ausbildung von spiking neural networks

Julian Rossbroich Julia Gygax Friedemann Zenke

Zusammenfassung

Spiking Neural Networks (SNNs) liegen der energiesparenden und fehlertoleranten Informationsverarbeitung im Gehirn zugrunde und könnten im Falle einer Implementierung auf geeigneten neuromorphen Hardware-Acceleratoren eine leistungseffiziente Alternative zu herkömmlichen tiefen neuronalen Netzen darstellen. Die In-silico-Realisierung von SNNs, die komplexe computationale Aufgaben lösen, bleibt jedoch eine erhebliche Herausforderung. Surrogate-Gradient-(SG)-Techniken sind als Standardansatz zur end-to-end-Training von SNNs hervorgetreten. Ihre Erfolgsaussichten hängen jedoch wie bei herkömmlichen künstlichen neuronalen Netzen (ANNs) stark von der Initialisierung der synaptischen Gewichte ab. Im Gegensatz zu ANNs bleibt jedoch unklar, was eine gute Anfangszustandskonfiguration für ein SNN ausmacht. In dieser Arbeit entwickeln wir eine allgemeine Initialisierungsstrategie für SNNs, die sich an dem im Gehirn häufig beobachteten Fluktuationen-getriebenen Regime orientiert. Insbesondere leiten wir praktikable Lösungen für datenabhängige Gewichtsinitialisierungen ab, die eine fluktuationen-getriebene Aktivität in den weit verbreiteten leaky integrate-and-fire (LIF)-Neuronen gewährleisten. Wir zeigen empirisch, dass SNNs, die nach unserer Strategie initialisiert werden, bei der Anwendung von SGs eine überlegene Lernleistung aufweisen. Diese Ergebnisse verallgemeinern sich über mehrere Datensätze und SNN-Architekturen hinweg, einschließlich vollständig verbundener, tiefer konvolutioneller, rekurrenter sowie biologisch plausiblerer SNNs, die Dale’sches Gesetz befolgen. Somit bietet die fluktuationen-getriebene Initialisierung eine praktikable, vielseitige und leicht umzusetzende Strategie zur Verbesserung der Trainingsleistung von SNNs bei vielfältigen Aufgaben im Bereich der neuromorphen Ingenieurwissenschaft und der computativen Neurowissenschaft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp