基于时空网络和运动补偿的实时视频超分辨率

卷积神经网络已经实现了实时图像超分辨率的精确生成。然而，近期尝试在视频超分辨率中利用时间相关性的方法大多局限于简单的或低效的架构。本文介绍了一种时空子像素卷积网络，该网络能够有效利用时间冗余，提高重建精度，同时保持实时速度。具体而言，我们讨论了早期融合、慢速融合以及3D卷积在多个连续视频帧联合处理中的应用。此外，我们提出了一种新颖的联合运动补偿和视频超分辨率算法，其效率比现有方法高出几个数量级，依赖于一个快速多分辨率空间变换模块，并且可以端到端训练。这些贡献不仅提高了精度，还使得视频在时间上更加一致，这一点我们在定性和定量分析中得到了验证。相对于单帧模型，时空网络可以在保持相同质量的情况下将计算成本降低30%，或者在相似的计算成本下提供0.2dB的增益。在公开数据集上的实验结果表明，所提出的算法在精度和效率方面均超过了当前最先进的性能。