Zur Korrektur des Rolling Shutter und Entschärfung in dynamischen Szenen

Gemeinsame Korrektur von Rolling-Shutter-Effekten und Entschärfung (RSCD) sind für die weit verbreiteten CMOS-Kameras von entscheidender Bedeutung. Derzeitige Ansätze basieren jedoch weiterhin auf herkömmlichen Energieoptimierungsverfahren und sind auf statische Szenen ausgelegt. Um lernbasierte Ansätze zur Bewältigung des realen RSCD-Problems zu ermöglichen, präsentieren wir erstmals den Datensatz BS-RSCD, der sowohl Eigenbewegung als auch Objektbewegung in dynamischen Szenen umfasst. Realistisch verzerrte und verschwommene Videos zusammen mit der entsprechenden Ground-Truth wurden gleichzeitig mittels eines Beam-Splitter-basierten Aufnahmesystems aufgezeichnet.Da die direkte Anwendung bestehender Einzelmethoden zur Rolling-Shutter-Korrektur (RSC) oder Global-Shutter-Entschärfung (GSD) auf das RSCD-Problem aufgrund inhärenter Schwächen in der Netzwerkarchitektur zu unzufriedenstellenden Ergebnissen führt, stellen wir zudem das erste lernbasierte Modell (JCD) für RSCD vor. Der zentrale Ansatz besteht darin, bidirektionale Warping-Streams zur Verschiebungskompensation einzusetzen, während gleichzeitig ein unverzerrter Entschärfungs-Stream zur Wiederherstellung feiner Details beibehalten wird. Die experimentellen Ergebnisse zeigen, dass JCD eine state-of-the-art-Leistung auf dem realistischen RSCD-Datensatz (BS-RSCD) sowie auf dem synthetischen RSC-Datensatz (Fastec-RS) erzielt. Der Datensatz und der Quellcode sind unter https://github.com/zzh-tech/RSCD verfügbar.