STSC-SNN: Raumaufgelöste synaptische Verbindung mit zeitlicher Faltung und Aufmerksamkeit für spiking neural networks

Spiking Neural Networks (SNNs), als eines der algorithmischen Modelle im neuromorphen Computing, haben aufgrund ihrer Fähigkeit zur Verarbeitung zeitlicher Informationen, geringen Energieverbrauchs und hohen biologischen Plausibilität erhebliche Forschungsinteressen geweckt. Das Potenzial, spatio-temporale Merkmale effizient zu extrahieren, macht sie besonders geeignet für die Verarbeitung von Ereignisströmen. Allerdings sind die bestehenden synaptischen Strukturen in SNNs nahezu ausschließlich vollständig verbunden oder basieren auf räumlichen 2D-Faltungen, weder von denen jedoch ausreichend zeitliche Abhängigkeiten erfasst werden können. In dieser Arbeit lassen wir uns von biologischen Synapsen inspirieren und stellen ein spatio-temporales synaptisches Verbindungsmodell für SNNs (STSC-SNN) vor, um die spatio-temporalen Rezeptivfelder der synaptischen Verbindungen zu erweitern und somit zeitliche Abhängigkeiten über Schichten hinweg herzustellen. Konkret integrieren wir zeitliche Faltung und Aufmerksamkeitsmechanismen, um synaptische Filter- und Gating-Funktionen zu realisieren. Wir zeigen, dass die Einführung zeitlicher Abhängigkeiten in synaptische Modelle die Leistungsfähigkeit von SNNs bei Klassifizierungsaufgaben verbessert. Zudem untersuchen wir den Einfluss verschiedener räumlich-zeitlicher Rezeptivfelder und überprüfen die Rolle zeitlicher Module in SNNs erneut. Unser Ansatz wird an neuromorphen Datensätzen getestet, darunter DVS128 Gesture (Gestenerkennung), N-MNIST, CIFAR10-DVS (Bildklassifizierung) und SHD (Sprachdigitenerkennung). Die Ergebnisse zeigen, dass das vorgeschlagene Modell die bisher beste Genauigkeit auf nahezu allen Datensätzen erreicht.