Deep Shutter Unrolling Network

Wir präsentieren ein neuartiges Netzwerk zur Korrektur des Rolling-Shutter-Effekts. Unser Netzwerk nimmt zwei aufeinanderfolgende Rolling-Shutter-Bilder auf und schätzt das entsprechende Global-Shutter-Bild des letzten Frames. Der dichte Verschiebungsvektorfeld von einem Rolling-Shutter-Bild zu dessen entsprechendem Global-Shutter-Bild wird mittels eines Bewegungsschätzungsnetzwerks ermittelt. Anschließend wird die gelernte Merkmalsdarstellung des Rolling-Shutter-Bildes mittels eines differenzierbaren Vorwärtsverzerrungsblocks, basierend auf dem Verschiebungsvektorfeld, in die Global-Shutter-Darstellung transformiert. Ein Bild-Decoder rekonstruiert das Global-Shutter-Bild auf Basis der transformierten Merkmalsdarstellung. Unser Netzwerk kann end-to-end trainiert werden und erfordert lediglich das Global-Shutter-Bild zur Supervision. Da kein öffentlich verfügbares Datenset existiert, schlagen wir zwei große Datensätze vor: den Carla-RS-Datensatz und den Fastec-RS-Datensatz. Experimentelle Ergebnisse zeigen, dass unser Netzwerk die bisherigen State-of-the-Art-Methoden übertrifft. Den Quellcode sowie die Datensätze stellen wir unter https://github.com/ethliup/DeepUnrollNet zur Verfügung.