Hierarchisches neuronales Gedächtnisnetzwerk für ereignisbasierte Verarbeitung mit geringer Latenz

Diese Arbeit stellt eine architektonische Lösung mit geringer Latenz für ereignisbasierte Aufgaben der dichten Vorhersage vor. Konventionelle Architekturen kodieren den gesamten Szeneninhalt mit einer festen Frequenz, unabhängig von dessen zeitlichen Eigenschaften. Im Gegensatz dazu kodiert das vorgeschlagene Netzwerk den Inhalt an einem jeweils geeigneten zeitlichen Maßstab, abhängig von der Bewegungsgeschwindigkeit. Dies wird erreicht, indem eine zeitliche Hierarchie mittels geschichteter latenter Speicher aufgebaut wird, die mit unterschiedlichen Raten arbeiten. Bei ereignisbasierten Datenströmen mit geringer Latenz extrahieren die mehrstufigen Speicher schrittweise dynamische zu statischen Szeneninhalte, indem sie Informationen von schnellen zu langsamen Speichermodulen weiterleiten. Die Architektur reduziert nicht nur die Redundanz herkömmlicher Ansätze, sondern nutzt zudem langfristige Abhängigkeiten effizient aus. Zudem ermöglicht eine auf Aufmerksamkeit basierende Ereignisdarstellung eine effiziente Kodierung spärlicher Ereignisströme in die Speicherzellen. Wir führen umfassende Evaluationen auf drei ereignisbasierten Aufgaben der dichten Vorhersage durch, bei denen der vorgeschlagene Ansatz sowohl in Bezug auf Genauigkeit als auch auf Latenz die bestehenden Methoden übertrifft und gleichzeitig eine effektive Fusion von Ereignissen und Bildern demonstriert. Der Quellcode ist unter https://hamarh.github.io/hmnet/ verfügbar.