Bewegung im Dunkeln erkennen

Kürzlich wurde tiefes Lernen mit beeindruckenden Ergebnissen für die Bildgebung bei extrem niedrigem Licht eingesetzt. Trotz des Erfolgs bei der Verarbeitung einzelner Bilder bleibt die Verarbeitung von Videos bei extrem niedrigem Licht weiterhin eine Herausforderung, da die Sammlung von Rohdaten von Videos mit entsprechendem Referenzbild (Ground Truth) aufgrund der Schwierigkeiten bei der Aufnahme von Langzeitbelichtungen in dynamischen Szenen nicht praktikabel ist. Die Methode der Langzeitbelichtung, die für die Verarbeitung einzelner Bilder verwendet wurde, ist bei sich bewegenden Szenen nicht anwendbar. In diesem Artikel präsentieren wir eine tiefenlernbasierte Verarbeitung von sehr dunklen Rohvideos mit einer Beleuchtungsstärke von etwa einem Lux. Um diese Forschungslinie zu unterstützen, haben wir ein neues Datensatz für Rohdaten bei niedrigem Licht zusammengestellt, bei dem hochauflösende Rohdaten in Echtzeit aufgenommen wurden. Bei dieser Lichtstärke ist das Signal-Rausch-Verhältnis äußerst niedrig (negativ, wenn in Dezibel gemessen), sodass die herkömmlichen Bildverarbeitungspipelines in der Regel versagen. Wir stellen eine neue Methode vor, um dieses anspruchsvolle Problem zu lösen. Durch die sorgfältige Gestaltung eines lernbasierten Verarbeitungspipelines und die Einführung einer neuen Verlustfunktion zur Förderung der zeitlichen Stabilität, trainieren wir ein Siamese-Netzwerk an statischen Rohvideos, für die Referenzbilder verfügbar sind, sodass das Netzwerk zur Verarbeitung dynamischer Szenen im Testzeitpunkt generalisiert. Experimentelle Ergebnisse zeigen, dass der vorgestellte Ansatz die derzeit besten Modelle für Burst-Verarbeitung, Einzelbildverarbeitung sowie blinden zeitlichen Konsistenz übertrifft.