Sequenzapproximation mithilfe eines feedforward spikingen neuronalen Netzes für raumzeitliches Lernen: Theorie und Optimierungsmethoden

Ein dynamisches System aus spikingen Neuronen mit ausschließlich feedforward Verbindungen kann spatiotemporale Muster klassifizieren, ohne rekurrente Verbindungen zu benötigen. Dennoch bleibt der theoretische Aufbau eines feedforward Spiking Neural Networks (SNN) zur Approximation einer zeitlichen Sequenz unklar, was die Optimierung von SNN-Architekturen für das Lernen komplexer spatiotemporaler Muster erschwert.In dieser Arbeit etablieren wir einen theoretischen Rahmen, um die Approximation von Sequenzen mittels feedforward SNN zu verstehen und zu verbessern.Unser Rahmen zeigt, dass ein feedforward SNN mit jeweils einem Neuron pro Schicht und Sprungverbindungen (skip-layer connections) die Abbildungsfunktion zwischen beliebigen Paaren von Eingangs- und Ausgangsspike-Trains auf einem kompakten Definitionsbereich approximieren kann. Zudem beweisen wir, dass heterogene Neuronen mit unterschiedlichen Dynamiken sowie Sprungverbindungen die Sequenzapproximation durch feedforward SNN verbessern. Daraus leiten wir SNN-Architekturen ab, die diese Konstrukte integrieren und mittels überwachtem Backpropagation-through-time (BPTT) sowie unüberwachtem spiking-timing-dependent plasticity (STDP) trainiert werden, um spatiotemporale Daten zu klassifizieren. Zur Optimierung der Architektur und der Parameter des vorgeschlagenen SNN mit heterogenen Neurondynamiken und Sprungverbindungen entwickeln wir eine Dual Search-space Bayes’sche Optimierungsmethode.