Lernen des Objektdetektions mit einer 1-Megapixel-Ereigniskamera

Ereigniskameras kodieren visuelle Informationen mit hoher zeitlicher Präzision, geringem Datenratenbedarf und großem Dynamikbereich. Aufgrund dieser Eigenschaften sind Ereigniskameras besonders gut für Szenarien geeignet, die hohe Bewegung, herausfordernde Beleuchtungsbedingungen und geringe Latenz erfordern. Aufgrund der Neuheit des Forschungsfeldes liegt die Leistung von ereignisbasierten Systemen bei vielen visuellen Aufgaben jedoch weiterhin hinter den Leistungen herkömmlicher framebasierten Lösungen zurück. Die Hauptgründe für diese Leistungslücke sind: die geringere räumliche Auflösung von Ereignissensoren im Vergleich zu Frame-Kameras; das Fehlen großer, etablierter Trainingsdatensätze; sowie die Abwesenheit etablierter tiefer Lernarchitekturen für die ereignisbasierte Verarbeitung. In diesem Artikel behandeln wir alle diese Probleme im Kontext einer ereignisbasierten Objekterkennung. Erstens veröffentlichen wir öffentlich den ersten hochauflösenden, großskaligen Datensatz für die Objekterkennung. Der Datensatz enthält mehr als 14 Stunden Aufnahmen einer 1-Megapixel-Ereigniskamera in automotive-Szenarien, zusammen mit 25 Millionen Beschriftungen von Fahrzeugen, Fußgängern und Zweirädern, die mit hoher Frequenz annotiert wurden. Zweitens stellen wir eine neuartige rekurrente Architektur für die ereignisbasierte Erkennung sowie eine zeitliche Konsistenzverlustfunktion zur stabileren und effizienteren Ausbildung vor. Die Fähigkeit, die Folge von Ereignissen kompakt im internen Gedächtnis des Modells zu repräsentieren, ist entscheidend für eine hohe Genauigkeit. Unser Modell übertrifft die Leistung von feed-forward-architektonisch aufgebauten ereignisbasierten Ansätzen deutlich. Darüber hinaus erfordert unsere Methode keine Rekonstruktion von Intensitätsbildern aus Ereignissen, was zeigt, dass die direkte Ausbildung aus rohen Ereignissen möglich ist, effizienter und genauer ist als der Weg über ein intermediäres Intensitätsbild. Experimente am in dieser Arbeit vorgestellten Datensatz, für den sowohl Ereignisse als auch Graustufenbilder verfügbar sind, zeigen eine Leistung, die mit der von hochgradig optimierten und gut untersuchten framebasierten Detektoren vergleichbar ist.