Skalierbare ereignisbasierte Verarbeitung neuromorpher Sensorsignale mit tiefen Zustandsraummodellen

Ereignisbasierte Sensoren eignen sich aufgrund ihrer schnellen Reaktionszeiten und der Kodierung der sensorischen Daten als aufeinanderfolgende zeitliche Differenzen hervorragend für die Echtzeitverarbeitung. Diese und weitere wertvolle Eigenschaften, wie ein hoher Dynamikbereich, werden jedoch unterdrückt, wenn die Daten in ein rahmenbasiertes Format umgewandelt werden. Die meisten aktuellen Methoden kollabieren Ereignisse entweder in Frames oder skaliert nicht, wenn die Ereignisdaten direkt ereignisbasiert verarbeitet werden. In dieser Arbeit behandeln wir die zentralen Herausforderungen der Skalierung ereignisbasiert verarbeiteter, langer Ereignisströme, die von solchen Sensoren emittiert werden – ein besonders relevantes Problem für die neuromorphe Rechentechnik. Während frühere Ansätze lediglich einige Tausend Zeitschritte verarbeiten können, skaliert unser Modell, basierend auf modernen rekurrenten tiefen Zustandsraummodellen, sowohl für das Training als auch für die Inferenz auf Ereignisströme mit Millionen von Ereignissen. Wir nutzen ihre stabile Parametrisierung zur Erfassung langfristiger Abhängigkeiten, ihre Parallelisierbarkeit entlang der Sequenzdimension sowie ihre Fähigkeit, asynchrone Ereignisse effizient zu integrieren, um die Skalierung auf lange Ereignisströme zu ermöglichen. Darüber hinaus ergänzen wir sie durch neuartige ereigniszentrierte Techniken, die es unserem Modell ermöglichen, die bisher beste Leistung auf mehreren Ereignisströmbenchmarks zu erreichen oder zu übertreffen. Bei der Aufgabe „Spiking Speech Commands“ verbessern wir die bisher beste Leistung um einen erheblichen Betrag von 7,7 % auf 88,4 %. Auf dem DVS128-Gestures-Datensatz erzielen wir wettbewerbsfähige Ergebnisse, ohne auf Frames oder konvolutionale neuronale Netze zurückzugreifen. Unser Werk zeigt erstmals, dass es möglich ist, vollständig ereignisbasierte Verarbeitung mit rein rekurrenten Netzwerken zu verwenden, um in mehreren ereignisbasierten Benchmarks die aktuell beste Leistung zu erreichen.