HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur Conscient des Trajectoires d'Apprentissage pour la Sur-Résolution Vidéo

Chengxu Liu Huan Yang Jianlong Fu Xueming Qian

Résumé

La super-résolution vidéo (VSR) vise à restaurer une séquence d'images de haute résolution (HR) à partir de leurs équivalents de basse résolution (LR). Bien que des progrès aient été réalisés, il reste des défis majeurs pour utiliser efficacement la dépendance temporelle dans l'ensemble des séquences vidéo. Les approches existantes alignent et agrègent généralement les images vidéo à partir d'un nombre limité d'images adjacentes (par exemple, 5 ou 7 images), ce qui empêche ces méthodes d'obtenir des résultats satisfaisants. Dans cet article, nous franchissons une étape supplémentaire pour permettre un apprentissage spatio-temporel efficace dans les vidéos. Nous proposons un nouveau modèle de Transformer trajectoire-aware pour la super-résolution vidéo (TTVSR). Plus précisément, nous formulons les images vidéo en plusieurs trajectoires pré-alignées composées de jetons visuels continus. Pour un jeton de requête, l'auto-attention n'est apprise que sur les jetons visuels pertinents le long des trajectoires spatio-temporelles. Comparativement aux Transformers visuels standards, cette conception réduit considérablement le coût computationnel et permet aux Transformers de modéliser des caractéristiques à longue portée. Nous proposons également un module de tokenisation de caractéristiques multi-échelles pour surmonter les problèmes de changement d'échelle qui se produisent fréquemment dans les vidéos à longue portée. Les résultats expérimentaux démontrent la supériorité du TTVSR proposé par rapport aux modèles de pointe actuels, grâce à des évaluations quantitatives et qualitatives étendues sur quatre benchmarks largement utilisés pour la super-résolution vidéo. Le code source et les modèles pré-entraînés peuvent être téléchargés à l'adresse suivante : https://github.com/researchmm/TTVSR.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp