2 个月前

实时深度视频去隔行处理

Haichao Zhu; Xueting Liu; Xiangyu Mao; Tien-Tsin Wong
实时深度视频去隔行处理
摘要

交织是一种广泛应用于电视广播和视频录制的技术,可以在不增加带宽的情况下使感知帧率翻倍。然而,在播放过程中,它会产生令人厌烦的视觉伪影,如闪烁和轮廓“锯齿”(serration)。现有的最先进的去交织方法要么忽略时间信息以提供实时性能但牺牲了视觉质量,要么通过估计运动来提高去交织效果但计算成本较高。在本文中,我们提出了一种基于深度卷积神经网络(DCNN)的新型去交织方法,该方法能够在保证高视觉质量的同时实现实时性能。与现有用于超分辨率问题的模型不同,这些模型依赖于平移不变假设,我们提出的DCNN模型利用奇数场和偶数场的时间信息来重建缺失的扫描线,并保留给定的奇数和偶数扫描线以生成完整的去交织帧。通过引入层共享架构,我们的系统能够在单个GPU上实现实时性能。实验结果表明,我们的方法在重建精度和计算性能方面均优于所有现有方法。