Vers une interprétation de la sur-résolution vidéo par optimisation alternée

Dans cet article, nous étudions un problème pratique de super-résolution spatio-temporelle des vidéos (STVSR) visant à générer une vidéo nette à haute fréquence d'images et haute résolution à partir d'une vidéo floue à basse fréquence d'images et basse résolution. Un tel problème se pose souvent lors de l'enregistrement d'un événement dynamique rapide avec une caméra à basse fréquence d'images et basse résolution, ce qui entraîne trois problèmes typiques : i) le flou de mouvement apparaît en raison des mouvements d'objets ou de la caméra pendant le temps d'exposition ; ii) l'aliasing temporel est inévitable lorsque la fréquence temporelle de l'événement dépasse la limite de Nyquist du taux d'échantillonnage temporel ; iii) les détails à haute fréquence sont perdus en raison du faible taux d'échantillonnage spatial. Ces problèmes peuvent être atténués par une cascade de trois sous-tâches distinctes, comprenant le défloutage des vidéos, l'interpolation des images et la super-résolution, mais cette approche échouerait à capturer les corrélations spatiales et temporelles entre les séquences vidéo. Pour remédier à cela, nous proposons un cadre STVSR interprétable en combinant des méthodes fondées sur des modèles et des méthodes d'apprentissage. Plus précisément, nous formulons le STVSR comme un problème conjoint de défloutage vidéo, interpolation des images et super-résolution, que nous résolvons sous forme de deux sous-problèmes traités alternativement. Pour le premier sous-problème, nous dérivons une solution analytique interprétable et l'utilisons comme couche de transformation des données de Fourier. Ensuite, nous proposons une couche récurrente d'amélioration vidéo pour le deuxième sous-problème afin de récupérer davantage les détails à haute fréquence. De nombreuses expériences montrent la supériorité de notre méthode en termes de métriques quantitatives et de qualité visuelle.