面向高保真与时间一致性的视频预测的时空多频分析探索

视频预测是一项像素级的密集预测任务，旨在基于历史帧推断未来的视频帧。然而，当前的预测模型仍面临两大挑战：外观细节缺失与运动模糊，这些问题导致生成图像出现失真以及时间上的一致性不足。本文指出，引入多频分析是解决上述问题的关键。受人类视觉系统（HVS）在频率带分解方面的特性启发，我们提出一种基于多层级小波分析的视频预测网络，以统一方式处理空间与时间信息。具体而言，多层级空间离散小波变换将每一帧视频分解为具有多频率特性的各向异性子带，从而增强结构信息并保留精细细节；另一方面，沿时间轴进行的多层级时间离散小波变换将帧序列分解为不同频率的子带组，能够在固定帧率下精确捕捉多尺度运动特征。在多个多样化数据集上的大量实验表明，与当前最先进方法相比，本模型在图像保真度与时间一致性方面均取得了显著提升。