Réseau de fusion local-global pour la super-résolution vidéo

L’objectif de la technique de super-résolution vidéo est de résoudre le problème du restauration efficace de vidéos à haute résolution (HR) à partir de vidéos à basse résolution (LR). Les méthodes précédentes ont généralement recours au flux optique pour aligner les trames et ont conçu des architectures à partir des perspectives spatiale et temporelle. Toutefois, une estimation imprécise du flux optique peut facilement survenir, entraînant des effets de restauration insatisfaisants. En outre, la fusion efficace des caractéristiques provenant de différentes trames vidéo reste un défi majeur. Dans cet article, nous proposons un Réseau de Fusion Locale-Global (LGFN) afin de résoudre ces problèmes sous une nouvelle perspective. À la place du flux optique, nous utilisons des convolutions déformables (DCs) associées à des unités de convolution multi-dilatée réduites (DMDCUs) pour réaliser un alignement implicite efficace. Par ailleurs, nous introduisons une architecture à deux branches composée d’un Module de Fusion Locale (LFM) et d’un Module de Fusion Globale (GFM), permettant de combiner l’information selon deux angles distincts. Plus précisément, le LFM se concentre sur les relations entre trames adjacentes tout en préservant la cohérence temporelle, tandis que le GFM exploite de manière globale toutes les caractéristiques pertinentes via une stratégie de mélange vidéo (video shuffle). Grâce à notre architecture avancée, les résultats expérimentaux sur plusieurs jeux de données montrent que notre LGFN atteint non seulement des performances comparables aux méthodes de pointe, mais possède également une capacité fiable pour restaurer divers types de trames vidéo. Les résultats obtenus sur des jeux de données standard sont disponibles à l’adresse suivante : https://github.com/BIOINSu/LGFN, et le code source sera publié dès l’acceptation de l’article.