摘要
视频未来帧的预测仍然是一个尚未解决但极具挑战性的问题。主流的循环神经网络（recurrent models）存在内存占用大、计算开销高的问题，而卷积神经网络（convolutional models）则难以有效捕捉连续视频帧之间的时序依赖关系。为解决这一难题，我们提出了一种完全基于卷积神经网络（CNN）的新型架构——PredCNN，该模型能够建模下一帧与连续视频输入之间的依赖关系。受循环模型核心思想的启发，即先前状态的转换操作远多于未来状态，我们设计了一种级联乘法单元（Cascade Multiplicative Unit, CMU），该单元为先前视频帧分配了相对更多的计算操作。这一新提出的模块使PredCNN能够在无需任何循环链结构的前提下，实现对未来时空数据的预测，从而缓解梯度传播问题，并支持完全并行化的优化过程。实验结果表明，PredCNN在标准的Moving MNIST数据集以及两个具有挑战性的群体流动预测数据集上，均显著优于当前最先进的循环模型，同时具备更快的训练速度和更低的内存占用。