Ecsnet: Rauminhaltliche und zeitliche Merkmalslernen für Ereigniskameras

Neuromorphe Ereigniskameras können die latente geometrische Struktur und Bewegungsinformationen einer Szene effizient erfassen, indem sie asynchrone und spärliche Ereignissignale erzeugen. Aufgrund der irregulären Anordnung dieser Ereignissignale bleibt die Nutzung der reichhaltigen räumlich-zeitlichen Informationen für Erkennungsaufgaben weiterhin eine bedeutende Herausforderung. Bestehende Methoden neigen dazu, Ereignisse als dichte, bildähnliche oder punktfolgenartige Darstellungen zu behandeln. Diese Ansätze leiden jedoch entweder unter erheblicher Zerstörung der Sparsamkeit der Ereignisdaten oder sind nicht in der Lage, robuste räumliche Hinweise zu kodieren. Um die inhärente Sparsamkeit voll auszunutzen und gleichzeitig die räumlich-zeitliche Information zu integrieren, führen wir eine kompakte Ereignisdarstellung ein, die sogenannte 2D-1T-Ereigniswolkenfolge (2D-1T ECS). Diese Darstellung kombinieren wir mit einem neuartigen, leichtgewichtigen räumlich-zeitlichen Lernframework (ECSNet), das sowohl für Objektklassifikation als auch für Aktionserkennung geeignet ist. Der Kern unseres Frameworks ist ein hierarchischer räumlicher Beziehungsmodul. Durch die Verwendung eines speziell entworfenen, oberflächenbasierten Sampling-Units und einer lokalen Ereignisnormalisierungsunit zur Verbesserung der Inter-Ereignis-Beziehungs-Kodierung erlernt dieser Modul robuste geometrische Merkmale aus den 2D-Ereigniswolken. Zudem schlagen wir einen Bewegungs-Attention-Modul vor, der effizient langfristige zeitliche Kontexte erfassen kann, die sich über die 1T-Wolkenfolge entwickeln. Experimentell zeigen die Ergebnisse, dass unser Framework eine Leistung erreicht, die dem Stand der Technik entspricht oder sogar übertrifft. Wichtig ist, dass unser Ansatz gut mit der Sparsamkeit der Ereignisdaten kooperiert, ohne auf aufwendige Operationen angewiesen zu sein, wodurch sich niedrige Rechenkosten und herausragende Inferenzgeschwindigkeiten ergeben.