HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen adaptiver Verzerrungskorrektur für die Korrektur realer Rolling-Shutter-Effekte

Mingdeng Cao Zhihang Zhong Jiahao Wang Yinqiang Zheng Yujiu Yang

Zusammenfassung

Diese Arbeit stellt den ersten Echtwelt-Rolling-Shutter-(RS)-Korrekturdatensatz, BS-RSC, sowie ein entsprechendes Modell zur Korrektur von RS-Frames in verzerrten Videos vor. Mobilgeräte auf dem Verbrauchermarkt mit CMOS-basierten Sensoren zur Videomontage erzeugen häufig Rolling-Shutter-Effekte, wenn sich Objekte oder die Kamera während der Aufnahmebewegung befinden, was die Entwicklung von Techniken zur Beseitigung solcher Effekte erforderlich macht. Derzeitige State-of-the-Art-Methoden zur RS-Korrektur scheitern jedoch häufig in realen Szenarien, da die Bewegungen vielfältig und schwer zu modellieren sind. Um dieses Problem anzugehen, stellen wir den Echtwelt-Datensatz BS-RSC vor. Verzerrte Echtzeitvideos mit entsprechenden Ground-Truth-Daten werden gleichzeitig mittels eines gut konzipierten Strahlteiler-basierten Aufnahmesystems aufgezeichnet. BS-RSC umfasst eine Vielzahl von Bewegungen sowohl der Kamera als auch der Objekte in dynamischen Szenen. Darüber hinaus wird ein RS-Korrekturmodell mit adaptiver Verzerrung vorgestellt. Unser Modell kann die gelernten RS-Features adaptiv in globale Shutter-Entsprechungen transformieren, indem es mehrere vorhergesagte Verschiebungs-Felder nutzt. Diese transformierten Features werden aggregiert und schließlich in einer grob-zu-fein-Strategie in hochwertige globale Shutter-Frames rekonstruiert. Experimentelle Ergebnisse belegen die Wirksamkeit des vorgeschlagenen Ansatzes, und unser Datensatz verbessert die Fähigkeit des Modells, RS-Effekte in der realen Welt zu beseitigen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp