TDAN: Netzwerk für zeitlich verformbare Ausrichtung zur Videosuperauflösung

Video-Super-Resolution (VSR) zielt darauf ab, ein foto-realistisches Hochauflösungs-(HR)-Bild aus dem entsprechenden Niedrigauflösungs-(LR)-Bild (Referenzbild) und mehreren benachbarten Bildern (Unterstützungsbilder) zu rekonstruieren. Aufgrund der variablen Bewegung von Kameras oder Objekten sind das Referenzbild und jedes Unterstützungsbild nicht ausgerichtet. Daher ist die zeitliche Ausrichtung eine herausfordernde, aber wichtige Aufgabe für VSR. Frühere VSR-Methoden nutzen in der Regel den optischen Fluss zwischen dem Referenzbild und jedem Unterstützungsbild, um das Unterstützungsbild für die zeitliche Ausrichtung zu verformen. Daher hängt die Leistung dieser bildbasierten Verformungsmodelle stark von der Vorhersagegenauigkeit des optischen Flusses ab, und ein ungenauer optischer Fluss führt zu Artefakten in den verformten Unterstützungsbildern, die auch in das rekonstruierte HR-Bild übertragen werden. Um diese Einschränkung zu überwinden, schlagen wir in diesem Artikel ein temporales deformierbares Ausrichtungsnetzwerk (TDAN) vor, das das Referenzbild und jedes Unterstützungsbild auf der Feature-Ebene anpasst, ohne den optischen Fluss zu berechnen. Das TDAN verwendet Features sowohl vom Referenzbild als auch von jedem Unterstützungsbild, um dynamisch die Versatzwerte der Abtast-Konvolutionskerne vorherzusagen. Durch die Verwendung der entsprechenden Kerne transformiert TDAN die Unterstützungsbilder so, dass sie mit dem Referenzbild ausgerichtet sind. Um das HR-Bild vorherzusagen, wird ein Rekonstruktionsnetzwerk verwendet, das ausgerichtete Bilder und das Referenzbild als Eingabe erhält. Experimentelle Ergebnisse zeigen die Effektivität des vorgeschlagenen TDAN-basierten VSR-Modells.