VRT : Un Transformateur de Restauration Vidéo

La restauration vidéo (par exemple, la super-résolution vidéo) vise à restaurer des images de haute qualité à partir d'images de basse qualité. Contrairement à la restauration d'images uniques, la restauration vidéo nécessite généralement d'utiliser des informations temporelles provenant de plusieurs images adjacentes mais souvent mal alignées. Les méthodes profondes existantes abordent généralement ce problème en exploitant une stratégie de fenêtre glissante ou une architecture récurrente, qui sont soit limitées par la restauration image par image, soit manquent de capacité de modélisation à longue portée. Dans cet article, nous proposons un Transformateur de Restauration Vidéo (VRT) doté de capacités de prédiction d'images parallèles et de modélisation des dépendances temporelles à longue portée. Plus précisément, le VRT est composé de plusieurs échelles, chacune comprenant deux types de modules : l'attention mutuelle temporelle (TMSA) et le warp parallèle. Le TMSA divise la vidéo en petits clips, sur lesquels l'attention mutuelle est appliquée pour l'estimation conjointe du mouvement, l'alignement des caractéristiques et leur fusion, tandis que l'attention propre est utilisée pour l'extraction des caractéristiques. Pour permettre les interactions entre les clips, la séquence vidéo est décalée tous les autres niveaux. De plus, le warp parallèle est utilisé pour fusionner davantage les informations provenant des images voisines par warp parallèle des caractéristiques. Les résultats expérimentaux sur cinq tâches, y compris la super-résolution vidéo, le défloutage vidéo, le débruitage vidéo, l'interpolation d'images vidéo et la super-résolution spatio-temporelle vidéo, montrent que le VRT surpassent largement les méthodes actuelles (\textbf{jusqu'à 2.16 dB}) sur quatorze jeux de données de référence.