HyperAIHyperAI

Command Palette

Search for a command to run...

Vers une interprétation de la sur-résolution vidéo par optimisation alternée

Jiezhang Cao Jingyun Liang Kai Zhang Wenguan Wang Qin Wang Yulun Zhang Hao Tang Luc Van Gool

Résumé

Dans cet article, nous étudions un problème pratique de super-résolution spatio-temporelle des vidéos (STVSR) visant à générer une vidéo nette à haute fréquence d'images et haute résolution à partir d'une vidéo floue à basse fréquence d'images et basse résolution. Un tel problème se pose souvent lors de l'enregistrement d'un événement dynamique rapide avec une caméra à basse fréquence d'images et basse résolution, ce qui entraîne trois problèmes typiques : i) le flou de mouvement apparaît en raison des mouvements d'objets ou de la caméra pendant le temps d'exposition ; ii) l'aliasing temporel est inévitable lorsque la fréquence temporelle de l'événement dépasse la limite de Nyquist du taux d'échantillonnage temporel ; iii) les détails à haute fréquence sont perdus en raison du faible taux d'échantillonnage spatial. Ces problèmes peuvent être atténués par une cascade de trois sous-tâches distinctes, comprenant le défloutage des vidéos, l'interpolation des images et la super-résolution, mais cette approche échouerait à capturer les corrélations spatiales et temporelles entre les séquences vidéo. Pour remédier à cela, nous proposons un cadre STVSR interprétable en combinant des méthodes fondées sur des modèles et des méthodes d'apprentissage. Plus précisément, nous formulons le STVSR comme un problème conjoint de défloutage vidéo, interpolation des images et super-résolution, que nous résolvons sous forme de deux sous-problèmes traités alternativement. Pour le premier sous-problème, nous dérivons une solution analytique interprétable et l'utilisons comme couche de transformation des données de Fourier. Ensuite, nous proposons une couche récurrente d'amélioration vidéo pour le deuxième sous-problème afin de récupérer davantage les détails à haute fréquence. De nombreuses expériences montrent la supériorité de notre méthode en termes de métriques quantitatives et de qualité visuelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Vers une interprétation de la sur-résolution vidéo par optimisation alternée | Articles | HyperAI