Zu nichtlinearbewegungsbewusster und verdeckungsrobuster Rolling-Shutter-Korrektur

Dieses Papier behandelt das Problem der Rolling-Shutter-Korrektur in komplexen, nichtlinearen und dynamischen Szenen mit extremen Verdeckungen. Bestehende Methoden leiden unter zwei Hauptnachteilen. Erstens haben sie Schwierigkeiten bei der Schätzung des genauen Korrekturfeldes aufgrund der Annahme einer gleichmäßigen Geschwindigkeit, was zu erheblichen Bildkorrekturfehlern bei komplexer Bewegung führt. Zweitens verhindern die starken Verdeckungen in dynamischen Szenen, dass aktuelle Lösungen eine bessere Bildqualität erreichen können, da es inhärente Schwierigkeiten gibt, mehrere Frames auszurichten und zusammenzuführen.Um diese Herausforderungen zu bewältigen, modellieren wir die kurvenlineare Trajektorie der Pixel analytisch und schlagen einen geometriebasierten quadratischen Rolling-Shutter-Bewegungslöser (QRS) vor, der das hochwertige Korrekturfeld einzelner Pixel präzise schätzt. Darüber hinaus präsentieren wir eine 3D-Videobauweise, die den effektiven Ausrichtungs- und Aggregationsprozess von Mehrfachframeskontext ermöglicht, nämlich RSA2-Net. Wir evaluieren unsere Methode anhand einer breiten Palette von Kameras und Videosequenzen und zeigen ihre erhebliche Überlegenheit nach. Speziell übertreffen unsere Ergebnisse den Stand der Technik um +4,98 dB, +0,77 dB und +4,33 dB im Bezug auf den Peak-Signal-to-Noise-Ratio (PSNR) in den Datensätzen Carla-RS, Fastec-RS und BS-RSC.Der Quellcode ist unter https://github.com/DelinQu/qrsc verfügbar.