Amélioration de la super-résolution vidéo par alignement fondé sur un échantillonnage implicite

Dans la super-résolution vidéo, il est courant d’utiliser une alignement par trame afin de faciliter la propagation de l’information dans le temps. Le rôle de l’alignement est bien étudié pour les tâches d’amélioration de bas niveau en vidéo, mais les travaux existants négligent une étape cruciale : le rééchantillonnage. À travers des expérimentations approfondies, nous montrons qu’afin que l’alignement soit efficace, le rééchantillonnage doit préserver le spectre de fréquence de la trame de référence tout en minimisant les distorsions spatiales. Toutefois, la plupart des méthodes existantes utilisent simplement l’interpolation bilinéaire par défaut, bien que celle-ci ait un effet lissage qui nuit à la super-résolution. À partir de ces observations, nous proposons une nouvelle approche d’alignement basée sur un rééchantillonnage implicite. Les positions d’échantillonnage sont encodées à l’aide d’une encodage positionnel sinusoidal, tandis que les valeurs sont estimées à l’aide d’un réseau de coordonnées et d’une attention croisée basée sur fenêtre. Nous démontrons que l’interpolation bilinéaire atténue intrinsèquement les hautes fréquences, alors qu’un réseau de coordonnées basé sur un MLP peut approcher un plus large spectre de fréquences. Des expérimentations sur des jeux de données synthétiques et réels montrent que l’alignement avec notre méthode de rééchantillonnage implicite améliore significativement les performances des cadres d’état de l’art, avec un impact minimal sur la charge computationnelle et le nombre de paramètres.