COMISR：压缩感知引导的视频超分辨率

大多数视频超分辨率方法致力于从低分辨率视频中恢复高分辨率帧，但通常忽略了视频压缩的影响。然而，网络或移动设备上的绝大多数视频均经过压缩，尤其在带宽受限的情况下，压缩程度可能非常严重。为此，本文提出了一种新型的压缩感知视频超分辨率模型，能够在恢复高分辨率内容的同时，有效避免由压缩引入的伪影。所提出的模型包含三个核心模块：双向循环光流变形（bi-directional recurrent warping）、细节保持型光流估计（detail-preserving flow estimation）以及拉普拉斯增强（Laplacian enhancement）。这三个模块协同设计，专门用于应对视频压缩特性，例如输入中帧内编码帧（intra-frames）的位置分布以及输出帧的平滑性要求。为全面评估模型性能，我们在标准数据集上进行了大量实验，覆盖了广泛的压缩率，涵盖多种实际视频应用场景。实验结果表明，该方法不仅能够在广泛使用的基准数据集的无压缩帧上有效恢复高分辨率内容，而且在压缩视频的超分辨率重建任务中，基于多项定量指标均达到了当前最优水平。此外，我们通过模拟YouTube流媒体传输场景对所提方法进行了评估，进一步验证了其有效性与鲁棒性。相关源代码与训练好的模型已开源，地址为：https://github.com/google-research/google-research/tree/master/comisr。