MFQE 2.0 : Une Nouvelle Approche pour l'Amélioration de la Qualité Multi-frames sur Vidéo Compressée

Ces dernières années ont vu de grands succès dans l'application de l'apprentissage profond pour améliorer la qualité des images et vidéos compressées. Les approches existantes se concentrent principalement sur l'amélioration de la qualité d'un seul cadre, sans prendre en compte la similarité entre les cadres consécutifs. Comme le montre cette étude, une forte fluctuation existe entre les cadres vidéo compressés ; la similarité des cadres peut donc être exploitée pour améliorer la qualité des cadres de faible qualité en utilisant leurs cadres voisins de haute qualité. Cette tâche est appelée Amélioration Multi-Cadre de la Qualité (AMCQ). En conséquence, cet article propose une approche AMCQ pour les vidéos compressées, constituant ainsi la première tentative dans cette direction. Dans notre méthode, nous développons d'abord un détecteur basé sur un Réseau de Mémoire à Court et Long Terme Bidirectionnel (BiLSTM) pour localiser les Cadres de Qualité Maximale (CQM) dans les vidéos compressées. Ensuite, un nouveau Réseau Neuronal Convolutif Multi-Cadre (RNC-MC) est conçu pour améliorer la qualité des vidéos compressées, où le non-CQM et ses deux CQM les plus proches sont utilisés comme entrée. Dans le RNC-MC, le mouvement entre le non-CQM et les CQM est compensé par un sous-réseau de compensation du mouvement. Par la suite, un sous-réseau d'amélioration de la qualité fusionne le non-CQM et les CQM compensés, puis réduit les artefacts de compression du non-CQM. De même, la qualité des CQM est également améliorée. Enfin, des expériences valident l'efficacité et la capacité de généralisation de notre approche AMCQ pour faire progresser l'état de l'art en matière d'amélioration de la qualité des vidéos compressées. Le code est disponible à l'adresse suivante : https://github.com/RyanXingQL/MFQEv2.0.git.Note: - "Multi-Frame Quality Enhancement" is translated as "Amélioration Multi-Cadre de la Qualité" (MFQE).- "Bidirectional Long Short-Term Memory" is translated as "Réseau de Mémoire à Court et Long Terme Bidirectionnel" (BiLSTM).- "Peak Quality Frames" is translated as "Cadres de Qualité Maximale" (CQM).- "Multi-Frame Convolutional Neural Network" is translated as "Réseau Neuronal Convolutif Multi-Cadre" (RNC-MC).