Die Reduktion der Sim-to-Real-Lücke für Ereigniskameras

Event-Kameras sind neuartige Sensoren, die asynchron und pro Pixel Helligkeitsänderungen, sogenannte 'Events', mit beispielloser geringer Latenz melden. Dies macht sie ideal für Hochgeschwindigkeits- und hochdynamische Szenen, bei denen herkömmliche Kameras versagen würden. Kürzlich wurden beeindruckende Ergebnisse durch die Verwendung von Faltungsneuronalen Netzen (CNNs) für Video-Rekonstruktion und optischen Fluss mit Events erzielt. Wir präsentieren Strategien zur Verbesserung der Trainingsdaten für ereignisbasierte CNNs, die zu einer Leistungssteigerung von 20-40 % bei bestehenden state-of-the-art (SOTA) Video-Rekonstruktionsnetzen führen, wenn diese mit unserer Methode erneut trainiert werden, sowie bis zu 15 % bei Netzwerken für optischen Fluss. Eine Herausforderung bei der Bewertung von ereignisbasierter Video-Rekonstruktion ist das Fehlen qualitativ hochwertiger Grundwahrheitsbilder in existierenden Datensätzen. Um dies zu beheben, stellen wir einen neuen High Quality Frames (HQF)-Datensatz vor, der Events und gut belichtete, minimal bewegungsverschmierte Grundwahrheitsbilder aus einer DAVIS240C enthält. Unsere Methode wird auf dem HQF-Datensatz sowie mehreren existierenden wichtigen Event-Kamera-Datensätzen evaluiert.