Vergleich von SNNs und RNNs auf neuromorphen Vision-Datensätzen: Ähnlichkeiten und Unterschiede

Neuromorphische Daten, die ereignislose Spikes aufzeichnen, haben aufgrund ihrer räumlich-zeitlichen Informationskomponenten und der ereignisgesteuerten Verarbeitungsweise erhebliche Aufmerksamkeit erfahren. Spiking Neural Networks (SNNs) stellen eine Klasse ereignisgesteuerter Modelle mit räumlich-zeitlichen Dynamiken für die neuromorphe Berechnung dar und werden weit verbreitet an neuromorphen Datensätzen evaluiert. Interessanterweise können Forscher aus der Machine-Learning-Community argumentieren, dass auch rekurrente (künstliche) neuronale Netze (RNNs) die Fähigkeit besitzen, räumlich-zeitliche Merkmale zu extrahieren, obwohl sie nicht ereignisgesteuert sind. Damit ergibt sich die Frage, „Was passiert, wenn wir diese beiden Modelltypen gemeinsam an neuromorphen Daten bewerten?“, die jedoch bisher unklar bleibt. In dieser Arbeit führen wir eine systematische Studie durch, um SNNs und RNNs an neuromorphen Daten zu vergleichen, wobei wir visuelle Datensätze als Fallstudie heranziehen. Zunächst identifizieren wir die Gemeinsamkeiten und Unterschiede zwischen SNNs und RNNs (einschließlich der klassischen RNNs und LSTMs) aus modelltheoretischer und lerntheoretischer Sicht. Um Vergleichbarkeit und Fairness zu gewährleisten, standardisieren wir den über die Zeit rückwärts differenzierten (BPTT)-basierten überwachten Lernalgorithmus, die Verwendung einer Verlustfunktion, die Ausgaben aller Zeitschritte berücksichtigt, die Netzwerkarchitektur mit gestapelten vollständig verbundenen oder konvolutionellen Schichten sowie die Hyperparameter während des Trainings. Insbesondere modifizieren wir die gängige Verlustfunktion, die in RNNs verwendet wird, inspiriert durch das Rate-Coding-Schema, um sie den Eigenschaften von SNNs anzunähern. Zudem justieren wir die zeitliche Auflösung der Datensätze, um die Robustheit und Generalisierungsfähigkeit der Modelle zu testen. Schließlich führen wir eine Reihe von Vergleichsexperimenten an zwei Arten neuromorpher Datensätze durch: DVS-konvertierte (N-MNIST) und DVS-erfasste (DVS Gesture) Datensätze.