Z-Order 循环神经网络用于视频预测

我们提出了一种基于Z-Order曲线的循环神经网络（Znet），用于根据历史观测数据预测未来的视频帧。该方法在确定性建模与随机性建模两个方面均做出了主要贡献。首先，我们提出了一种新型RNN架构，用于建模确定性动态过程，通过沿Z-Order曲线更新隐藏状态，增强了镜像层特征的一致性。其次，我们引入了一种对抗性训练策略，应用于双流Znet结构，以建模随机性变化，该策略迫使Znet-Predictor模仿Znet-Probe的行为。这种双流架构使得对抗训练能够在特征空间而非图像空间中进行。实验结果表明，该模型在两个视频数据集上均达到了当前最优的预测精度。