TDAN : Réseau d'Alignement Temporairement Déformable pour la Super-Résolution Vidéo

La super-résolution vidéo (VSR) vise à restaurer un cadre vidéo de haute résolution (HR) réaliste à partir du cadre correspondant de basse résolution (LR), également appelé cadre de référence, et de plusieurs cadres voisins (cadres d'appui). En raison des mouvements variables des caméras ou des objets, le cadre de référence et chaque cadre d'appui ne sont pas alignés. Par conséquent, l'alignement temporel est un problème difficile mais crucial pour la VSR. Les méthodes précédentes en VSR utilisaient généralement le flux optique entre le cadre de référence et chaque cadre d'appui pour envelopper les cadres d'appui afin d'assurer l'alignement temporel. Ainsi, les performances de ces modèles basés sur l'enveloppement au niveau des images dépendent fortement de la précision de prédiction du flux optique, et un flux optique imprécis entraîne des artefacts dans les cadres d'appui enveloppés, qui se propagent également dans le cadre vidéo HR reconstruit. Pour surmonter cette limitation, nous proposons dans cet article un réseau d'alignement déformable temporel (TDAN) capable d'aligner adaptivement le cadre de référence et chaque cadre d'appui au niveau des caractéristiques sans calculer le flux optique. Le TDAN utilise les caractéristiques du cadre de référence et de chaque cadre d'appui pour prédire dynamiquement les décalages des noyaux de convolution d'échantillonnage. Grâce aux noyaux correspondants, le TDAN transforme les cadres d'appui pour qu'ils s'alignent avec le cadre de référence. Pour prédire le cadre vidéo HR, un réseau de reconstruction prenant en entrée les cadres alignés et le cadre de référence est utilisé. Les résultats expérimentaux démontrent l'efficacité du modèle VSR basé sur TDAN proposé.