Lokal-Global-Fusions-Netzwerk für Video-Super-Resolution

Das Ziel der Video-Super-Resolution-Technik besteht darin, das Problem der effektiven Wiederherstellung hochauflösender (HR) Videos aus niedrigauflösenden (LR) Videos zu lösen. Frühere Methoden verwendeten häufig optischen Fluss zur Frame-Ausrichtung und entwickelten Frameworks aus raumzeitlicher Perspektive. Allerdings kann die Schätzung des optischen Flusses leicht ungenau sein, was zu einer schlechteren Wiederherstellungseffizienz führt. Darüber hinaus bleibt die effektive Fusionsstrategie der Merkmale verschiedener Videoframes weiterhin eine herausfordernde Aufgabe. In diesem Artikel stellen wir ein lokales-globaler Fusionsnetzwerk (Local-Global Fusion Network, LGFN) vor, um diese Probleme aus einer neuen Perspektive zu lösen. Anstelle des optischen Flusses werden deformierbare Faltungen (deformable convolutions, DCs) mit reduzierten Multi-Dilation-Faltungseinheiten (decreased multi-dilation convolution units, DMDCUs) zur effizienten impliziten Ausrichtung eingesetzt. Zudem wird ein zweigeteiltes Architekturkonzept vorgeschlagen, bestehend aus einem Lokalen Fusionsmodul (Local Fusion Module, LFM) und einem Globalen Fusionsmodul (Global Fusion Module, GFM), um Informationen aus zwei unterschiedlichen Aspekten zu kombinieren. Speziell konzentriert sich das LFM auf die Beziehung zwischen benachbarten Frames und bewahrt die zeitliche Konsistenz, während das GFM versucht, alle relevanten Merkmale global zu nutzen, unterstützt durch eine Video-Shuffle-Strategie. Dank unseres fortschrittlichen Netzwerks zeigen die experimentellen Ergebnisse auf mehreren Datensätzen, dass unser LGFN nicht nur vergleichbare Leistungsfähigkeit mit den aktuellen Stand der Technik erreicht, sondern auch eine zuverlässige Fähigkeit zur Wiederherstellung einer Vielzahl von Videoframes besitzt. Die Ergebnisse unseres LGFN auf Benchmark-Datensätzen sind unter https://github.com/BIOINSu/LGFN verfügbar, und der Quellcode wird sobald der Artikel akzeptiert ist, veröffentlicht werden.