BasicVSR++ : Amélioration de la super-résolution vidéo avec une propagation et un alignement améliorés

Une structure récurrente est un choix de cadre populaire pour la tâche de sur-résolution vidéo. La méthode de pointe BasicVSR adopte une propagation bidirectionnelle avec alignement des caractéristiques pour exploiter efficacement les informations provenant de l'ensemble de la vidéo d'entrée. Dans cette étude, nous redessinons BasicVSR en proposant une propagation sur grille du second ordre et un alignement déformable guidé par le flot. Nous montrons que grâce à l'amélioration de la propagation et de l'alignement dans le cadre récurrent, il est possible d'exploiter plus efficacement les informations spatio-temporelles à travers les trames vidéo mal alignées. Les nouveaux composants permettent d'obtenir une meilleure performance sous une contrainte computationnelle similaire. En particulier, notre modèle BasicVSR++ dépasse BasicVSR de 0,82 dB en PSNR (Peak Signal-to-Noise Ratio) avec un nombre similaire de paramètres. Outre la sur-résolution vidéo, BasicVSR++ se généralise bien à d'autres tâches de restauration vidéo telles que l'amélioration des vidéos compressées. Au challenge NTIRE 2021, BasicVSR++ a remporté trois premiers prix et un deuxième prix dans les défis de Sur-résolution Vidéo et d'Amélioration des Vidéos Compressées. Les codes et les modèles seront rendus disponibles dans MMEditing.