Deep Blind Video Super-Resolution

Bekannte Algorithmen zur Video-Super-Resolution (SR) gehen typischerweise davon aus, dass die Unschärfekerne im Degradationsprozess bekannt sind, und modellieren diese Kerne im Wiederherstellungsprozess nicht. Diese Annahme trifft jedoch für die Video-SR nicht zu und führt in der Regel zu übermäßig geglätteten, detailarmen Ergebnisbildern. In diesem Artikel stellen wir ein tiefes convolutionales neuronal Netzwerk (CNN)-Modell vor, das die Video-SR mittels eines Ansatzes zur Unschärfekernmodellierung löst. Das vorgeschlagene tiefe CNN-Modell besteht aus drei Modulen: Bewegungsunschärfeschätzung, Bewegungsschätzung und Latentbild-Wiederherstellung. Das Modul zur Bewegungsunschärfeschätzung dient zur Bereitstellung zuverlässiger Unschärfekerne. Unter Verwendung der geschätzten Unschärfekerne entwickeln wir eine Bilddekonvolutionsmethode basierend auf dem Bildentstehungsmodell der Video-SR, um Zwischenlatentbilder zu generieren, sodass scharfe Bildinhalte gut wiederhergestellt werden können. Die generierten Zwischenlatentbilder können jedoch Artefakte enthalten. Um hochwertige Bilder zu erzeugen, nutzen wir das Modul zur Bewegungsschätzung, um Informationen aus benachbarten Bildern zu erschließen, wobei die Bewegungsschätzung das tiefe CNN-Modell zur besseren Bildwiederherstellung begrenzt. Wir zeigen, dass der vorgeschlagene Algorithmus klarere Bilder mit feineren strukturellen Details erzeugen kann. Umfangreiche experimentelle Ergebnisse belegen, dass der vorgeschlagene Ansatz gegenüber aktuellen State-of-the-Art-Methoden überzeugt.