HyperAIHyperAI

Command Palette

Search for a command to run...

VRT : Un Transformateur de Restauration Vidéo

Jingyun Liang Jiezhang Cao Yuchen Fan Kai Zhang Rakesh Ranjan Yawei Li Radu Timofte Luc Van Gool

Résumé

La restauration vidéo (par exemple, la super-résolution vidéo) vise à restaurer des images de haute qualité à partir d'images de basse qualité. Contrairement à la restauration d'images uniques, la restauration vidéo nécessite généralement d'utiliser des informations temporelles provenant de plusieurs images adjacentes mais souvent mal alignées. Les méthodes profondes existantes abordent généralement ce problème en exploitant une stratégie de fenêtre glissante ou une architecture récurrente, qui sont soit limitées par la restauration image par image, soit manquent de capacité de modélisation à longue portée. Dans cet article, nous proposons un Transformateur de Restauration Vidéo (VRT) doté de capacités de prédiction d'images parallèles et de modélisation des dépendances temporelles à longue portée. Plus précisément, le VRT est composé de plusieurs échelles, chacune comprenant deux types de modules : l'attention mutuelle temporelle (TMSA) et le warp parallèle. Le TMSA divise la vidéo en petits clips, sur lesquels l'attention mutuelle est appliquée pour l'estimation conjointe du mouvement, l'alignement des caractéristiques et leur fusion, tandis que l'attention propre est utilisée pour l'extraction des caractéristiques. Pour permettre les interactions entre les clips, la séquence vidéo est décalée tous les autres niveaux. De plus, le warp parallèle est utilisé pour fusionner davantage les informations provenant des images voisines par warp parallèle des caractéristiques. Les résultats expérimentaux sur cinq tâches, y compris la super-résolution vidéo, le défloutage vidéo, le débruitage vidéo, l'interpolation d'images vidéo et la super-résolution spatio-temporelle vidéo, montrent que le VRT surpassent largement les méthodes actuelles (\textbf{jusqu'à 2.16 dB}) sur quatorze jeux de données de référence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp