Résolution vidéo améliorée par réseau récurrent structure-détail

La plupart des méthodes actuelles de super-résolution vidéo traitent une seule image de référence à l’aide des images voisines dans une fenêtre temporelle glissante. Elles sont moins efficaces que les méthodes basées sur des réseaux récurrents. Dans ce travail, nous proposons une nouvelle méthode de super-résolution vidéo récurrente, à la fois efficace et performante, pour exploiter les cadres précédents afin de reconstruire le cadre courant. Notre approche découpe l’entrée en composantes structurelles et détaillées, qui sont ensuite traitées par une unité récurrente composée de plusieurs blocs à deux flux (two-stream) structure-détail proposés. En outre, nous introduisons un module d’adaptation de l’état caché, permettant au cadre courant d’utiliser de manière sélective les informations présentes dans l’état caché, afin d’améliorer sa robustesse aux variations d’apparence et à l’accumulation d’erreurs. Une étude ablation exhaustive valide l’efficacité des modules proposés. Des expériences menées sur plusieurs jeux de données standard démontrent que la méthode proposée atteint des performances supérieures par rapport aux méthodes de pointe en super-résolution vidéo.