Progressive Fusion Video Super-Resolution Network durch Ausnutzung von nicht-lokalen spatio-temporalen Korrelationen

Die meisten bisherigen Fusionsstrategien nutzen entweder die zeitliche Information nicht vollständig aus oder erfordern zu viel Rechenzeit. Die effektive Fusionszeitlicher Information aus aufeinanderfolgenden Bildern spielt daher eine entscheidende Rolle bei der Video-Super-Resolution (SR). In dieser Studie stellen wir ein neuartiges progressives Fusionsnetzwerk für die Video-SR vor, das darauf ausgelegt ist, räumlich-zeitliche Informationen besser zu nutzen und sich im Vergleich zu bestehenden direkten Fusions-, langsamen Fusions- oder 3D-Konvolutionsstrategien als effizienter und wirksamer erweist. Unter diesem progressiven Fusionsrahmen führen wir außerdem eine verbesserte nicht-lokale Operation ein, um die komplexen Schritte der Bewegungsschätzung und Bewegungskompensation (ME&MC), wie sie in früheren Ansätzen zur Video-SR verwendet werden, zu vermeiden. Ausführliche Experimente auf öffentlichen Datensätzen zeigen, dass unsere Methode die derzeit besten Ansätze im Durchschnitt um 0,96 dB übertrifft und etwa dreimal schneller läuft, während sie lediglich etwa die Hälfte der Parameter benötigt.