摘要
近年来，深度学习在提升压缩图像/视频质量方面取得了显著成功。现有的方法主要集中在提高单帧的质量上，而忽略了连续帧之间的相似性。本文研究发现，压缩视频帧之间存在严重的质量波动，因此可以利用相邻的高质量帧来增强低质量帧，这被称为多帧质量增强（Multi-Frame Quality Enhancement, MFQE）。为此，本文首次提出了一种适用于压缩视频的MFQE方法。在该方法中，我们首先开发了一种基于支持向量机（Support Vector Machine, SVM）的检测器，用于定位压缩视频中的峰值质量帧（Peak Quality Frames, PQFs）。然后，设计了一种新颖的多帧卷积神经网络（Multi-Frame Convolutional Neural Network, MF-CNN），以非PQF及其最近的两个PQF作为输入，提升压缩视频的质量。MF-CNN通过运动补偿子网（Motion Compensation subnet, MC-subnet）来补偿非PQF与PQFs之间的运动差异。随后，质量增强子网（Quality Enhancement subnet, QE-subnet）借助最近的PQFs减少非PQF的压缩伪影。最后，实验验证了我们的MFQE方法在提升压缩视频质量方面的有效性和普适性，并达到了当前最先进的水平。我们的MFQE方法代码已发布在https://github.com/ryangBUAA/MFQE.git 上。