Convolution déformable spatio-temporelle pour l'amélioration de la qualité des vidéos compressées

Les dernières années ont vu un succès remarquable des méthodes d'apprentissage profond pour l'amélioration de la qualité des vidéos compressées. Afin d'exploiter plus efficacement les informations temporelles, les méthodes existantes estiment généralement le flux optique afin de réaliser une compensation du mouvement temporel. Toutefois, en raison des distorsions importantes causées par divers artefacts de compression dans les vidéos compressées, l'estimation du flux optique tend à être imprécise et peu fiable, conduisant à une amélioration de la qualité inefficace. En outre, l'estimation du flux optique entre cadres consécutifs est généralement effectuée de manière paire, ce qui s'avère coûteuse en termes de calcul et peu efficace. Dans ce travail, nous proposons une méthode rapide et efficace pour l'amélioration de la qualité des vidéos compressées en intégrant un nouveau schéma de fusion déformable spatio-temporelle (STDF) afin d’agréger les informations temporelles. Plus précisément, le STDF proposé prend comme entrée une trame cible ainsi que ses trames de référence voisines, afin de prédire conjointement un champ de décalage permettant de déformer les positions d’échantillonnage spatio-temporelles de la convolution. Ainsi, des informations complémentaires provenant à la fois de la trame cible et des trames de référence peuvent être fusionnées au sein d’une seule opération de convolution déformable spatio-temporelle (STDC). Des expérimentations étendues montrent que notre méthode atteint un niveau d’exactitude et d’efficacité au point d’orgue dans le domaine de l’amélioration de la qualité des vidéos compressées.