Réparation des Dommages : Une Approche Transformer-Diffusion Sensible au QP pour la Restauration de Vidéos 8K sous Compression par Codec

Dans cet article, nous présentons DiQP, un nouveau modèle Transformer-Diffusion destiné à la restauration de la qualité des vidéos 8K dégradée par la compression codec. Selon nos connaissances, notre modèle est le premier à envisager la restauration des artefacts introduits par divers codecs (AV1, HEVC) par diffusion débruitante sans prendre en compte de bruit supplémentaire. Cette approche nous permet de modéliser la nature complexe et non gaussienne des artefacts de compression, apprenant efficacement à inverser cette dégradation. Notre architecture combine la puissance des Transformers pour capturer les dépendances à long terme avec un mécanisme fenêtré amélioré qui préserve le contexte spatio-temporel au sein de groupes de pixels entre les trames. Pour améliorer encore davantage la restauration, le modèle intègre des modules auxiliaires "Look Ahead" et "Look Around", fournissant des informations sur les trames futures et environnantes afin d'aider à reconstruire les détails fins et d'optimiser la qualité visuelle globale. De nombreuses expériences menées sur différents jeux de données montrent que notre modèle surpasses les méthodes de pointe, particulièrement pour les vidéos haute résolution telles que 4K et 8K, démontrant son efficacité dans la restauration de vidéos perçues comme agréables à partir de sources fortement compressées.