Hochgeschwindigkeits- und hochdynamisches Video mit einer Ereigniskamera

Event-Kameras sind neuartige Sensoren, die Helligkeitsänderungen in Form eines Stroms von asynchronen „Ereignissen“ anstatt als Intensitätsframes melden. Sie bieten erhebliche Vorteile gegenüber herkömmlichen Kameras: hohe zeitliche Auflösung, großer dynamischer Bereich und kein Bewegungsunschärfe. Obwohl der Ereignisstrom im Prinzip das gesamte visuelle Signal kodiert, ist die Rekonstruktion eines Intensitätsbildes aus einem Ereignisstrom in der Praxis ein schlecht gestelltes Problem. Bestehende Rekonstruktionsansätze basieren auf handgefertigten A-priori-Annahmen und starken Annahmen über den Bildaufnahmeprozess sowie die Statistik natürlicher Bilder. In dieser Arbeit schlagen wir vor, aus Daten direkt zu lernen, wie Intensitätsbilder aus Ereignisströmen rekonstruiert werden können, anstatt sich auf handgefertigte A-priori-Annahmen zu stützen. Wir schlagen ein neues rekurrentes Netzwerk zur Rekonstruktion von Videos aus einem Ereignisstrom vor und trainieren es mit einer großen Menge an simulierten Ereignisdaten. Während des Trainings verwenden wir einen perceptuellen Verlust, um die Rekonstruktionen dazu anzuleiten, den Statistiken natürlicher Bilder zu folgen. Wir erweitern unseren Ansatz außerdem zur Synthese von Farbbildern aus farbigen Ereignisströmen. Unser Netzwerk übertreffen die Stand-of-the-Art-Rekonstruktionsmethoden bei der Bildqualität (über 20 %) deutlich und läuft dabei komfortabel in Echtzeit. Wir zeigen, dass das Netzwerk in der Lage ist, hochfrequente Videos (über 5.000 Frames pro Sekunde) von Hochgeschwindigkeitsphänomenen (z.B. eine Kugel, die ein Objekt trifft) zu synthetisieren und unter schwierigen Beleuchtungsbedingungen hochdynamische Rekonstruktionen bereitstellen kann. Darüber hinaus demonstrieren wir die Effektivität unserer Rekonstruktionen als Zwischendarstellung für Ereignisdaten. Wir zeigen, dass etablierte Computer-Vision-Algorithmen auf unsere Rekonstruktionen angewendet werden können, um Aufgaben wie Objektklassifizierung und visuell-inertielle Odometrie durchzuführen, und dass diese Strategie konsistent bessere Ergebnisse liefert als Algorithmen, die speziell für Ereignisdaten entwickelt wurden.