IM-Loss: Information Maximization Loss für spiking neural networks

Spiking Neural Networks (SNNs), die als biologisch plausibler Architekturtyp anerkannt sind, haben in letzter Zeit erhebliche Forschungsinteresse geweckt. Sie übertragen Informationen mittels 0/1-Spikes. Diese biomimetische Funktionsweise von SNNs zeigt eine äußerst hohe Energieeffizienz, da sie jegliche Multiplikationen auf neuromorphen Hardwareplattformen vermeidet. Allerdings führt die Quantisierung von 0/1-Spikes im Vorwärtsdurchlauf zu Informationsverlust und einer Degradierung der Genauigkeit. Um dieses Problem anzugehen, wird im vorliegenden Paper eine Informationsoptimierungsverlustfunktion (IM-Loss) vorgeschlagen, die darauf abzielt, den Informationsfluss innerhalb des SNNs zu maximieren. Der IM-Loss erhöht nicht nur direkt die Informationsausdruckskraft eines SNNs, sondern übernimmt zudem eine Normalisierungsfunktion, ohne zusätzliche Operationen (z. B. Bias- oder Skalierungsoperationen) in der Inferenzphase einzuführen. Zudem wird ein neuartiger, differenzierbarer Ansatz zur Schätzung der Spikes-Aktivität, die Evolutionäre Ersatzgradienten (Evolutionary Surrogate Gradients, ESG), in SNNs eingeführt. Durch die automatische Anpassung evolvierbarer Ersatzgradienten für die Spikes-Aktivitätsfunktion gewährleistet ESG eine ausreichende Modellaktualisierung zu Beginn des Trainings sowie präzise Gradienten am Ende des Trainings, was sowohl eine einfache Konvergenz als auch eine hohe Aufgabenleistung ermöglicht. Experimentelle Ergebnisse auf gängigen nicht-spiking statischen Datensätzen sowie neuromorphen Datensätzen zeigen, dass die durch unsere Methode trainierten SNN-Modelle die derzeitigen State-of-the-Art-Algorithmen übertrifft.