Réseau de super-résolution vidéo profonde utilisant des filtres de suréchantillonnage dynamiques sans compensation explicite du mouvement

La super-résolution vidéo (VSR) est devenue encore plus importante récemment pour fournir des contenus en haute résolution (HR) destinés aux écrans ultra-haute définition. Bien que de nombreuses méthodes de VSR basées sur l'apprentissage profond aient été proposées, la plupart d'entre elles dépendent fortement de la précision de l'estimation et de la compensation du mouvement. Dans cet article, nous introduisons un cadre fondamentalement différent pour la VSR. Nous proposons un nouveau réseau neuronal profond end-to-end qui génère des filtres de suréchantillonnage dynamiques ainsi qu'une image résiduelle, calculés en fonction du voisinage spatio-temporel local de chaque pixel, afin d’éviter toute compensation explicite du mouvement. Grâce à notre approche, une image HR est reconstruite directement à partir de l’image d’entrée en utilisant les filtres de suréchantillonnage dynamiques, tandis que les détails fins sont ajoutés via l’image résiduelle calculée. Grâce à notre réseau, combiné à une nouvelle technique d’augmentation de données, nous parvenons à produire des vidéos HR nettement plus précises et plus cohérentes dans le temps, par rapport aux méthodes antérieures. Nous fournissons également une analyse approfondie de notre réseau à travers des expériences étendues, afin de montrer comment le réseau traite implicitement les mouvements.