Réseau Adaptatif de Filtrage Spatio-Temporel pour le Défloutage Vidéo

Le défloutage vidéo est une tâche complexe en raison du flou spatialement variable causé par le tremblement de l'appareil photo, les mouvements d'objets et les variations de profondeur, entre autres. Les méthodes existantes estiment généralement le flux optique dans la vidéo floue pour aligner les images consécutives ou approximer les noyaux de flou. Cependant, elles ont tendance à générer des artefacts ou ne peuvent pas éliminer efficacement le flou lorsque l'estimation du flux optique n'est pas précise. Pour surmonter la limitation de l'estimation séparée du flux optique, nous proposons un réseau adaptatif spatio-temporel de filtres (STFAN) pour l'alignement et le défloutage dans un cadre unifié. Le STFAN proposé prend en entrée à la fois les images floues et restaurées de la trame précédente ainsi que l'image floue de la trame actuelle, et génère dynamiquement des filtres spatialement adaptatifs pour l'alignement et le défloutage. Nous proposons ensuite une nouvelle couche convolutive adaptative aux filtres (FAC) pour aligner les caractéristiques défloutées de la trame précédente avec la trame actuelle et éliminer le flou spatialement variable des caractéristiques de la trame actuelle. Enfin, nous développons un réseau de reconstruction qui utilise la fusion des deux caractéristiques transformées pour restaurer les trames nettes. Les résultats d'évaluation quantitative et qualitative sur des jeux de données de référence et des vidéos du monde réel montrent que l'algorithme proposé performe favorablement par rapport aux méthodes de pointe en termes de précision, vitesse ainsi que taille du modèle.