COMISR: Kompressionssensitivere Video-Super-Resolution

Die meisten Methoden zur Video-Super-Resolution konzentrieren sich darauf, hochauflösende Videoframes aus niedrigauflösenden Videos wiederherzustellen, ohne die Kompression zu berücksichtigen. In der Praxis sind jedoch die meisten Videos im Web oder auf mobilen Geräten komprimiert, und die Kompression kann bei begrenzter Bandbreite erheblich sein. In diesem Paper stellen wir ein neues, kompressionsinformiertes Modell zur Video-Super-Resolution vor, das hochauflösenden Inhalt wiederherstellt, ohne Artefakte durch Kompression einzuführen. Das vorgeschlagene Modell besteht aus drei Modulen für die Video-Super-Resolution: bidirektionales rekurrentes Warping, detailbewahrende Flussabschätzung sowie Laplace-Verbesserung. Alle drei Module sind speziell darauf ausgelegt, Kompressionsmerkmale wie die Position der intra-Frames im Eingabestrom und die Glätte der Ausgabeframes zu berücksichtigen. Zur umfassenden Leistungsbewertung haben wir umfangreiche Experimente auf Standard-Datensätzen mit einer breiten Palette an Kompressionsraten durchgeführt, die viele reale Anwendungsszenarien abdecken. Wir zeigen, dass unsere Methode nicht nur hochauflösenden Inhalt aus unkomprimierten Frames aus gängigen Benchmark-Datensätzen rekonstruiert, sondern auch bei der Super-Resolution komprimierter Videos hervorragende Ergebnisse in Bezug auf zahlreiche quantitative Metriken erzielt. Darüber hinaus haben wir die Wirksamkeit und Robustheit des vorgeschlagenen Ansatzes durch die Simulation von Streaming aus YouTube evaluiert. Die Quellcodes und trainierten Modelle sind unter https://github.com/google-research/google-research/tree/master/comisr verfügbar.