HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration de la super-résolution vidéo par alignement fondé sur un échantillonnage implicite

Kai Xu Ziwei Yu Xin Wang Michael Bi Mi Angela Yao

Résumé

Dans la super-résolution vidéo, il est courant d’utiliser une alignement par trame afin de faciliter la propagation de l’information dans le temps. Le rôle de l’alignement est bien étudié pour les tâches d’amélioration de bas niveau en vidéo, mais les travaux existants négligent une étape cruciale : le rééchantillonnage. À travers des expérimentations approfondies, nous montrons qu’afin que l’alignement soit efficace, le rééchantillonnage doit préserver le spectre de fréquence de la trame de référence tout en minimisant les distorsions spatiales. Toutefois, la plupart des méthodes existantes utilisent simplement l’interpolation bilinéaire par défaut, bien que celle-ci ait un effet lissage qui nuit à la super-résolution. À partir de ces observations, nous proposons une nouvelle approche d’alignement basée sur un rééchantillonnage implicite. Les positions d’échantillonnage sont encodées à l’aide d’une encodage positionnel sinusoidal, tandis que les valeurs sont estimées à l’aide d’un réseau de coordonnées et d’une attention croisée basée sur fenêtre. Nous démontrons que l’interpolation bilinéaire atténue intrinsèquement les hautes fréquences, alors qu’un réseau de coordonnées basé sur un MLP peut approcher un plus large spectre de fréquences. Des expérimentations sur des jeux de données synthétiques et réels montrent que l’alignement avec notre méthode de rééchantillonnage implicite améliore significativement les performances des cadres d’état de l’art, avec un impact minimal sur la charge computationnelle et le nombre de paramètres.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp