Transformateur Épars Spatio-temporel Sensible au Flou pour le Déflouage Vidéo

Le débrouillage vidéo repose sur l'exploitation des informations provenant d'autres trames de la séquence vidéo afin de restaurer les régions floues de la trame actuelle. Les approches courantes utilisent une propagation bidirectionnelle des caractéristiques, des transformateurs spatio-temporels, ou une combinaison des deux, pour extraire des informations de la séquence vidéo. Toutefois, les contraintes liées à la mémoire et aux ressources computationnelles limitent la longueur de la fenêtre temporelle des transformateurs spatio-temporels, empêchant ainsi l'extraction d'informations contextuelles temporelles plus étendues à partir de la séquence vidéo. En outre, la propagation bidirectionnelle des caractéristiques est fortement sensible aux erreurs de flux optique présentes dans les trames floues, entraînant une accumulation d'erreurs au cours du processus de propagation. Pour résoudre ces problèmes, nous proposons \textbf{BSSTNet}, un réseau \textbf{B}lur-aware \textbf{S}patio-\textbf{T}emporal \textbf{S}parse \textbf{T}ransformer. Il introduit une carte de flou qui transforme initialement l'attention dense en une forme creuse, permettant ainsi une utilisation plus étendue des informations à travers l'ensemble de la séquence vidéo. Plus précisément, BSSTNet (1) utilise une fenêtre temporelle plus longue dans le transformateur, exploitant les informations provenant de trames plus éloignées pour restaurer les pixels flous de la trame actuelle. (2) introduit une propagation bidirectionnelle des caractéristiques guidée par la carte de flou, réduisant ainsi l'accumulation d'erreurs causée par les trames floues. Les résultats expérimentaux montrent que BSSTNet surpasser les méthodes de pointe sur les jeux de données GoPro et DVD.