Online-Training durch die Zeit für Spiking Neuronale Netze

Spiking neuronale Netze (SNNs) sind vielversprechende, energieeffiziente Modelle, die vom Gehirn inspiriert sind. Fortschritte in den Trainingsmethoden ermöglichten es kürzlich, erfolgreiche tiefe SNNs bei großen Aufgaben mit geringer Latenz zu erreichen. Insbesondere wird der zeitliche Rückwärtspropagationsalgorithmus (BPTT) mit Surrogatgradienten (SG) häufig verwendet, um hohe Leistungen in sehr wenigen Zeitschritten zu erzielen. Allerdings geht dies auf Kosten eines hohen Speicherverbrauchs während des Trainings, mangelnder theoretischer Klarheit für die Optimierung und Inkonsistenzen mit der Online-Eigenschaft biologischen Lernens sowie den Regeln für neuromorphe Hardware. Andere Arbeiten verbinden die Impulsdarstellungen von SNNs mit äquivalenten künstlichen neuronalen Netzformulierungen und trainieren SNNs durch Gradienten aus diesen äquivalenten Abbildungen, um Abstiegsrichtungen sicherzustellen. Diese Ansätze schlagen jedoch versagt, wenn es darum geht, eine geringe Latenz zu erreichen, und sie sind auch nicht online. In dieser Arbeit schlagen wir Online-Training durch Zeit (OTTT) für SNNs vor, das aus dem BPTT abgeleitet ist und das zeitliche Vorwärtslernen durch die Verfolgung präsynaptischer Aktivitäten und die Nutzung instantaner Verlustfunktionen und Gradienten ermöglicht. Gleichzeitig analysieren und beweisen wir theoretisch, dass die Gradienten des OTTT unter sowohl feedforward- als auch rekurrenten Bedingungen eine ähnliche Abstiegsrichtung für die Optimierung bieten können wie Gradienten basierend auf Impulsdarstellungen. OTTT erfordert nur konstante Trainings-Speicherkosten unabhängig von den Zeitschritten und vermeidet so die erheblichen Speicherkosten des BPTTs für das GPU-Training. Darüber hinaus hat die Aktualisierungsregel des OTTT die Form eines dreifachen Hebb'schen Lernens, was einen Weg für Online-Lernen auf der Chip ebene ebnen könnte. Mit OTTT wird zum ersten Mal eine Verbindung zwischen zwei Hauptströmungen überwachter SNN-Trainingsmethoden hergestellt: BPTT mit SG und Training basierend auf Impulsdarstellungen, wobei gleichzeitig eine biologisch plausibele Form gewährleistet wird. Experimente anhand von CIFAR-10, CIFAR-100, ImageNet und CIFAR10-DVS zeigen die überlegene Leistung unserer Methode bei großen statischen und neuromorphen Datensätzen in kurzen Zeitschritten.