Rétroaction Collaborative et Propagation Discriminatoire pour la Sur-résolution Vidéo

Le succès des méthodes actuelles de sur-résolution vidéo (VSR) provient principalement de l'exploration de l'information spatiale et temporelle, ce qui est généralement réalisé par un module de propagation récurrent avec un module d'alignement. Cependant, un alignement inexact entraîne souvent des caractéristiques alignées présentant des artefacts significatifs, qui s'accumulent au cours de la propagation et affectent ainsi la restauration vidéo. De plus, les modules de propagation ne propagent que les caractéristiques du même instant temporel en avant ou en arrière, ce qui peut échouer en cas de mouvements complexes ou d'occlusions, limitant leur performance pour la restauration de cadres de haute qualité. Pour résoudre ces problèmes, nous proposons une méthode collaborative à retour discriminatif (CFD) visant à corriger les caractéristiques alignées inexactes et à modéliser l'information spatiale et temporelle à longue portée pour une meilleure reconstruction vidéo. Plus précisément, nous développons une méthode d'alignement correctif discriminatif (DAC) pour explorer adaptivement l'information et réduire les effets des artefacts causés par un alignement inexact. Ensuite, nous introduisons un module de propagation collaborative à retour (CFP) qui utilise des mécanismes de retour et de porte pour mieux explorer l'information spatiale et temporelle des caractéristiques d'instants temporels différents lors de la propagation simultanée en avant et en arrière. Enfin, nous intégrons les méthodes DAC et CFP proposées dans des réseaux VSR couramment utilisés afin de vérifier l'efficacité de notre approche. Des expériences quantitatives et qualitatives menées sur plusieurs bancs d'essai montrent que notre méthode peut améliorer les performances des modèles VSR existants tout en maintenant une complexité modèle inférieure. Le code source et les modèles pré-entraînés seront disponibles à l'adresse \url{https://github.com/House-Leo/CFDVSR}.