Rolling Shutter Korrektur mit Zwischenverzerrungsflussabschätzung

Dieses Papier schlägt eine Methode zur Korrektur von Bildern mit Rolling-Shutter-(RS)-Verzerrung vor, indem es den Verzerrungsfluss direkt vom Global-Shutter-(GS)-Bild zum RS-Bild schätzt. Bestehende Methoden korrigieren in der Regel die Verzerrung durch den Fluss von RS-Bildern zu GS-Bildern, wobei sie zunächst den Fluss aus aufeinanderfolgenden RS-Bildern vorhersagen und diesen anschließend unter Verwendung zeitabhängiger Skalierungsfaktoren als Verschiebungsfelder vom RS-Bild zum zugrundeliegenden GS-Bild reskalieren. Danach wird eine RS-bewusste Vorwärtsverformung angewendet, um das RS-Bild in sein GS-Gegenstück zu konvertieren. Diese Strategie ist jedoch anfällig für zwei Nachteile. Erstens führt die lineare Skalierung des Flusses aufgrund der komplexen nichtlinearen Bewegungsart zu ungenauen Schätzungen des Entverzerrungsflusses. Zweitens erzeugt die RS-bewusste Vorwärtsverformung häufig unvermeidbare Artefakte. Um diese Einschränkungen zu beheben, stellen wir ein neues Framework vor, das den Verzerrungsfluss direkt schätzt und das RS-Bild mit Hilfe der Rückwärtsverformung korrigiert. Genauer gesagt schlagen wir zunächst einen Fluss-Aufmerksamkeitsmechanismus basierend auf globaler Korrelation vor, um den anfänglichen Verzerrungsfluss und das GS-Feature gemeinsam zu schätzen. Diese werden dann durch nachfolgende Decoder-Schichten im Grob-zu-Fin Modus verfeinert. Darüber hinaus wird eine Strategie zur Mehrfach-Vorzerrungsfluss-Vorhersage integriert, um das Problem der ungenauen Fluss-Schätzung weiter zu mildern. Experimentelle Ergebnisse bestätigen die Effektivität der vorgeschlagenen Methode, die bei verschiedenen Benchmarks den Stand der Technik übertreffen kann und dabei hohe Effizienz aufrechterhält. Das Projekt ist unter \url{https://github.com/ljzycmd/DFRSC} verfügbar.