Amélioration de la qualité multi-image pour les vidéos compressées

Ces dernières années ont vu de grands succès dans l'application de l'apprentissage profond pour améliorer la qualité des images et vidéos compressées. Les approches existantes se concentrent principalement sur l'amélioration de la qualité d'un seul cadre, ignorant ainsi les similarités entre les cadres consécutifs. Dans cet article, nous examinons le fait qu'il existe une forte fluctuation de qualité entre les cadres d'une vidéo compressée, et que par conséquent, les cadres de faible qualité peuvent être améliorés en utilisant les cadres voisins de haute qualité, ce qui est connu sous le nom d'Amélioration de Qualité Multi-Cadre (AQMC). En conséquence, cet article propose une approche AQMC pour les vidéos compressées, constituant une première tentative dans cette direction. Dans notre approche, nous développons d'abord un détecteur basé sur une Machine à Vecteurs de Support (SVM) pour localiser les Cadres de Qualité Maximale (CQM) dans les vidéos compressées. Ensuite, un nouveau Réseau Neuronal Convolutif Multi-Cadre (RNC-MC) est conçu pour améliorer la qualité des vidéos compressées, où le non-CQM et ses deux CQM les plus proches sont utilisés comme entrée. Le RNC-MC compense le mouvement entre le non-CQM et les CQM grâce au sous-réseau de Compensation du Mouvement (CM-sous-réseau). Par la suite, le sous-réseau d'Amélioration de Qualité (AQ-sous-réseau) réduit les artefacts de compression du non-CQM avec l'aide de ses CQM les plus proches. Enfin, les expériences valident l'efficacité et la généralité de notre approche AQMC pour améliorer l'état de l'art en matière d'amélioration de la qualité des vidéos compressées. Le code source de notre approche AQMC est disponible à l'adresse suivante : https://github.com/ryangBUAA/MFQE.git