Lernen adaptiver Verzerrungskorrektur für die Korrektur realer Rolling-Shutter-Effekte

Diese Arbeit stellt den ersten Echtwelt-Rolling-Shutter-(RS)-Korrekturdatensatz, BS-RSC, sowie ein entsprechendes Modell zur Korrektur von RS-Frames in verzerrten Videos vor. Mobilgeräte auf dem Verbrauchermarkt mit CMOS-basierten Sensoren zur Videomontage erzeugen häufig Rolling-Shutter-Effekte, wenn sich Objekte oder die Kamera während der Aufnahmebewegung befinden, was die Entwicklung von Techniken zur Beseitigung solcher Effekte erforderlich macht. Derzeitige State-of-the-Art-Methoden zur RS-Korrektur scheitern jedoch häufig in realen Szenarien, da die Bewegungen vielfältig und schwer zu modellieren sind. Um dieses Problem anzugehen, stellen wir den Echtwelt-Datensatz BS-RSC vor. Verzerrte Echtzeitvideos mit entsprechenden Ground-Truth-Daten werden gleichzeitig mittels eines gut konzipierten Strahlteiler-basierten Aufnahmesystems aufgezeichnet. BS-RSC umfasst eine Vielzahl von Bewegungen sowohl der Kamera als auch der Objekte in dynamischen Szenen. Darüber hinaus wird ein RS-Korrekturmodell mit adaptiver Verzerrung vorgestellt. Unser Modell kann die gelernten RS-Features adaptiv in globale Shutter-Entsprechungen transformieren, indem es mehrere vorhergesagte Verschiebungs-Felder nutzt. Diese transformierten Features werden aggregiert und schließlich in einer grob-zu-fein-Strategie in hochwertige globale Shutter-Frames rekonstruiert. Experimentelle Ergebnisse belegen die Wirksamkeit des vorgeschlagenen Ansatzes, und unser Datensatz verbessert die Fähigkeit des Modells, RS-Effekte in der realen Welt zu beseitigen.