HyperAIHyperAI

Command Palette

Search for a command to run...

Skalierbare ereignisbasierte Verarbeitung neuromorpher Sensorsignale mit tiefen Zustandsraummodellen

Mark Schöne Neeraj Mohan Sushma Jingyue Zhuge Christian Mayr Anand Subramoney David Kappel

Zusammenfassung

Ereignisbasierte Sensoren eignen sich aufgrund ihrer schnellen Reaktionszeiten und der Kodierung der sensorischen Daten als aufeinanderfolgende zeitliche Differenzen hervorragend für die Echtzeitverarbeitung. Diese und weitere wertvolle Eigenschaften, wie ein hoher Dynamikbereich, werden jedoch unterdrückt, wenn die Daten in ein rahmenbasiertes Format umgewandelt werden. Die meisten aktuellen Methoden kollabieren Ereignisse entweder in Frames oder skaliert nicht, wenn die Ereignisdaten direkt ereignisbasiert verarbeitet werden. In dieser Arbeit behandeln wir die zentralen Herausforderungen der Skalierung ereignisbasiert verarbeiteter, langer Ereignisströme, die von solchen Sensoren emittiert werden – ein besonders relevantes Problem für die neuromorphe Rechentechnik. Während frühere Ansätze lediglich einige Tausend Zeitschritte verarbeiten können, skaliert unser Modell, basierend auf modernen rekurrenten tiefen Zustandsraummodellen, sowohl für das Training als auch für die Inferenz auf Ereignisströme mit Millionen von Ereignissen. Wir nutzen ihre stabile Parametrisierung zur Erfassung langfristiger Abhängigkeiten, ihre Parallelisierbarkeit entlang der Sequenzdimension sowie ihre Fähigkeit, asynchrone Ereignisse effizient zu integrieren, um die Skalierung auf lange Ereignisströme zu ermöglichen. Darüber hinaus ergänzen wir sie durch neuartige ereigniszentrierte Techniken, die es unserem Modell ermöglichen, die bisher beste Leistung auf mehreren Ereignisströmbenchmarks zu erreichen oder zu übertreffen. Bei der Aufgabe „Spiking Speech Commands“ verbessern wir die bisher beste Leistung um einen erheblichen Betrag von 7,7 % auf 88,4 %. Auf dem DVS128-Gestures-Datensatz erzielen wir wettbewerbsfähige Ergebnisse, ohne auf Frames oder konvolutionale neuronale Netze zurückzugreifen. Unser Werk zeigt erstmals, dass es möglich ist, vollständig ereignisbasierte Verarbeitung mit rein rekurrenten Netzwerken zu verwenden, um in mehreren ereignisbasierten Benchmarks die aktuell beste Leistung zu erreichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp