Transformateur Conscient des Trajectoires d'Apprentissage pour la Sur-Résolution Vidéo

La super-résolution vidéo (VSR) vise à restaurer une séquence d'images de haute résolution (HR) à partir de leurs équivalents de basse résolution (LR). Bien que des progrès aient été réalisés, il reste des défis majeurs pour utiliser efficacement la dépendance temporelle dans l'ensemble des séquences vidéo. Les approches existantes alignent et agrègent généralement les images vidéo à partir d'un nombre limité d'images adjacentes (par exemple, 5 ou 7 images), ce qui empêche ces méthodes d'obtenir des résultats satisfaisants. Dans cet article, nous franchissons une étape supplémentaire pour permettre un apprentissage spatio-temporel efficace dans les vidéos. Nous proposons un nouveau modèle de Transformer trajectoire-aware pour la super-résolution vidéo (TTVSR). Plus précisément, nous formulons les images vidéo en plusieurs trajectoires pré-alignées composées de jetons visuels continus. Pour un jeton de requête, l'auto-attention n'est apprise que sur les jetons visuels pertinents le long des trajectoires spatio-temporelles. Comparativement aux Transformers visuels standards, cette conception réduit considérablement le coût computationnel et permet aux Transformers de modéliser des caractéristiques à longue portée. Nous proposons également un module de tokenisation de caractéristiques multi-échelles pour surmonter les problèmes de changement d'échelle qui se produisent fréquemment dans les vidéos à longue portée. Les résultats expérimentaux démontrent la supériorité du TTVSR proposé par rapport aux modèles de pointe actuels, grâce à des évaluations quantitatives et qualitatives étendues sur quatre benchmarks largement utilisés pour la super-résolution vidéo. Le code source et les modèles pré-entraînés peuvent être téléchargés à l'adresse suivante : https://github.com/researchmm/TTVSR.