EventRPG: Ereignisdaten-Augmentierung mit Anleitung durch Relevanz-Propagierung

Der Event-Kamera, ein neuartiger bio-inspirierter Vision-Sensor, hat aufgrund ihrer geringen Latenz, niedrigen Energieaufnahme und hohen Dynamikbreite erhebliche Aufmerksamkeit erlangt. Derzeit stellt Überanpassung (overfitting) aufgrund der relativ schwachen räumlichen Repräsentationsfähigkeit ein kritisches Problem bei klassifizierenden Aufgaben basierend auf Ereignissen für spiking neural networks (SNNs) dar. Datenverstärkung (data augmentation) ist eine einfache, jedoch effektive Methode, um Überanpassung zu verringern und die Generalisierungsfähigkeit von neuronalen Netzen zu verbessern. In der Bildverarbeitung haben salienzbasierende Verstärkungsmethoden sich als wirksam erwiesen. Allerdings existiert bisher kein Ansatz zur Extraktion von Saliency-Maps aus SNNs. Daher stellen wir erstmals die Spiking Layer-Time-wise Relevance Propagation-Regel (SLTRP) und die Spiking Layer-wise Relevance Propagation-Regel (SLRP) vor, um SNNs in die Lage zu versetzen, stabile und genaue Class Activation Maps (CAMs) sowie Saliency-Maps zu generieren. Auf dieser Grundlage entwickeln wir EventRPG, das die Relevanzweiterleitung innerhalb eines spiking neural network zur effizienteren Datenverstärkung nutzt. Unser vorgeschlagener Ansatz wurde an mehreren SNN-Architekturen evaluiert und erreicht state-of-the-art Ergebnisse bei Objekterkennungsaufgaben, darunter N-Caltech101 und CIFAR10-DVS mit Genauigkeiten von 85,62 % bzw. 85,55 %, sowie bei der Aktionserkennungsaufgabe SL-Animals mit einer Genauigkeit von 91,59 %. Der Quellcode ist unter https://github.com/myuansun/EventRPG verfügbar.