Objekterkennung mit spikingen neuronalen Netzen auf automotive Event-Daten

Automotive-Embedded-Algorithmen unterliegen sehr strengen Anforderungen hinsichtlich Latenz, Genauigkeit und Energieverbrauch. In dieser Arbeit schlagen wir vor, spiking neural networks (SNNs) direkt auf Daten von Event-Kameras zu trainieren, um schnelle und effiziente Anwendungen für automotive-Embedded-Systeme zu entwickeln. Tatsächlich sind SNNs biologisch realistischere neuronale Netzwerke, bei denen Neuronen über diskrete und asynchrone Spikes kommunizieren – ein natürlich energieeffizienter und hardwarefreundlicher Betriebsmodus. Event-Daten, die binär und spärlich in Raum und Zeit sind, stellen daher die ideale Eingabedatenform für spiking neural networks dar. Bisher war ihre Leistungsfähigkeit jedoch für anspruchsvolle automotive-Anwendungsfälle, wie etwa die Erkennung komplexer Objekte in ungekontrollierten Umgebungen, unzureichend. Um dieses Problem anzugehen, nutzen wir die neuesten Fortschritte im Bereich der Spike-Backpropagation – insbesondere die surrogate gradient learning, parametrische LIF-Modelle und das SpikingJelly-Framework – sowie unsere neue \textit{Voxel-Cube}-Eingabecodierung, um vier verschiedene SNNs auf Basis bekannter tiefer neuronalen Netzwerke (SqueezeNet, VGG, MobileNet und DenseNet) zu trainieren. Dadurch gelang es uns, die Größe und Komplexität von SNNs erheblich zu steigern, verglichen mit den in der Literatur üblicherweise betrachteten Modellen. In dieser Arbeit führen wir Experimente an zwei automotive-spezifischen Event-Datensätzen durch und erreichen neue SOTA-Ergebnisse (state-of-the-art) für die Klassifikation mit spiking neural networks. Auf Basis dieser Ergebnisse kombinieren wir unsere SNNs mit SSD und präsentieren erstmals spiking neural networks, die in der Lage sind, Objekterkennung auf dem komplexen GEN1 Automotive Detection Event-Datensatz durchzuführen.