Une base simple pour la restauration vidéo avec décalage spatial-temporel regroupé

La restauration vidéo, dont l’objectif est de restaurer des images claires à partir de vidéos dégradées, présente de nombreuses applications importantes. La clé de la restauration vidéo réside dans l’exploitation des informations inter-images. Toutefois, les méthodes actuelles basées sur l’apprentissage profond reposent souvent sur des architectures de réseaux complexes, telles que l’estimation du flux optique, la convolution déformable ou les couches d’attention auto-supervisée entre images, entraînant des coûts computationnels élevés. Dans cette étude, nous proposons un cadre simple mais efficace pour la restauration vidéo. Notre approche repose sur un décalage spatial-temporel regroupé, une technique légère et directe permettant de capturer implicitement les correspondances inter-images pour l’agrégation multi-images. En introduisant un décalage spatial regroupé, nous obtenons des champs réceptifs effectifs étendus. Associé à une convolution 2D basique, ce cadre simple permet une agrégation efficace des informations inter-images. Des expériences étendues montrent que notre méthode surpasser l’état de l’art précédent, tout en utilisant moins d’un quart de son coût computationnel, sur les tâches de déflouage vidéo et de suppression de bruit vidéo. Ces résultats indiquent le potentiel de notre approche à réduire significativement la charge computationnelle tout en maintenant des résultats de haute qualité. Le code est disponible à l’adresse suivante : https://github.com/dasongli1/Shift-Net.