SUNet: Symmetrisches Entzerrungsnetzwerk zur Korrektur des Rolling Shutter-Effekts

Die überwiegende Mehrheit moderner Consumer-Kameras verwendet ein Rolling-Shutter-Verfahren, was zu Bildverzerrungen führt, wenn die Kamera während der Bildaufnahme bewegt wird. In diesem Artikel präsentieren wir ein neuartiges tiefes Netzwerk zur Lösung des allgemeinen Problems der Rolling-Shutter-Korrektur anhand zweier aufeinanderfolgender Frames. Unser Ansatz ist symmetrisch gestaltet, um das globale-Shutter-Bild zum mittleren Zeitpunkt dieser beiden Frames vorherzusagen – eine Aufgabe, die für bestehende Methoden besonders herausfordernd ist, da sie einer Kamerapose entspricht, die sich am stärksten von den beiden Frames unterscheidet. Zunächst werden zwei zeitsymmetrische, dichte Entzerrungsflüsse mithilfe etablierter Prinzipien geschätzt: pyramidenartige Struktur, Warping und Kostenvolumenverarbeitung. Anschließend werden beide Rolling-Shutter-Bilder jeweils in einen gemeinsamen globalen Shutter-Frame im Merkmalsraum transformiert. Schließlich wird im Bild-Decoder eine symmetrische Konsistenzbedingung implementiert, um die kontextuellen Hinweise beider Rolling-Shutter-Bilder effektiv zu aggregieren und somit ein hochwertiges globales-Shutter-Bild wiederherzustellen. Umfangreiche Experimente sowohl mit synthetischen als auch mit realen Daten aus öffentlichen Benchmarks belegen die Überlegenheit unseres vorgeschlagenen Ansatzes gegenüber den aktuellen Stand der Technik.