9 天前

隐式堆叠自回归模型用于视频预测

Minseok Seo, Hakjin Lee, Doyi Kim, Junghoon Seo
隐式堆叠自回归模型用于视频预测
摘要

未来帧预测主要通过两种方法实现:自回归(autoregressive)与非自回归(non-autoregressive)方法。自回归方法基于马尔可夫假设,在预测初期误差尚未累积时能够实现较高的准确性,但随着预测时间步数的增加,性能通常会逐渐下降。相比之下,非自回归方法虽可达到相对较高的预测性能,但各时间步之间的预测结果缺乏关联性。本文提出一种用于视频预测的隐式堆叠自回归模型(Implicit Stacked Autoregressive Model for Video Prediction, IAM4VP),该模型是一种隐式视频预测方法,采用堆叠式自回归机制。与非自回归方法类似,堆叠式自回归方法利用同一观测帧来估计所有未来帧;然而,它又借鉴了自回归方法的思想,将自身预测结果作为后续步骤的输入。随着预测时间步的增加,预测结果被依次堆叠并存入队列中。为验证IAM4VP的有效性,我们在三个常用的未来帧预测基准数据集以及气象与气候预测基准数据集上进行了实验。实验结果表明,所提出的模型在各项任务中均达到了当前最先进的性能水平。