Tiefes rekurrentes neuronales Netzwerk mit multiskaliger bidirektionaler Propagation für die Video-Entschärfung

Der Erfolg moderner Video-Deblurring-Verfahren beruht hauptsächlich auf der impliziten oder expliziten Schätzung der Ausrichtung zwischen benachbarten Frames zur Restaurierung des latenten Videos. Aufgrund des Einflusses des Verschmierungseffekts stellt die Schätzung der Ausrichtungsinformation aus verschwommenen benachbarten Frames jedoch eine nicht triviale Aufgabe dar. Ungenaue Schätzungen beeinträchtigen die anschließende Frame-Restaurierung erheblich. Anstelle der direkten Schätzung der Ausrichtung schlagen wir stattdessen ein einfaches und effektives tiefes rekurrentes neuronales Netzwerk mit Multi-Scale Bi-directionaler Propagation (RNN-MBP) vor, das Informationen effizient aus nicht ausgerichteten benachbarten Frames propagiert und sammelt, um eine verbesserte Video-Deblurring-Leistung zu erzielen. Konkret integrieren wir ein Multi-Scale Bi-directionales Propagation (MBP)-Modul, das zwei U-Net-RNN-Zellen verwendet und die inter-frame-Informationen direkt aus den nicht ausgerichteten versteckten Zuständen der benachbarten Frames auf verschiedenen Skalen verarbeitet. Darüber hinaus entwickeln wir zur besseren Bewertung des vorgeschlagenen Algorithmus sowie bestehender State-of-the-Art-Methoden an realen verschwommenen Szenen ein Real-World Blurry Video Dataset (RBVD) mittels eines gut durchdachten Digital Video Acquisition Systems (DVAS) und nutzen es als Trainings- und Evaluierungsdatensatz. Umfangreiche experimentelle Ergebnisse zeigen, dass das vorgeschlagene RBVD-Datensatz die Leistung bestehender Algorithmen bei realen verschwommenen Videos signifikant verbessert, und dass der vorgeschlagene Algorithmus gegenüber den State-of-the-Art-Methoden auf drei typischen Benchmarks überzeugt. Der Quellcode ist unter https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP verfügbar.