1 个月前

基于解耦特征的视频预测互抑制网络

Jungbeom Lee; Jangho Lee; Sungmin Lee; Sungroh Yoon
基于解耦特征的视频预测互抑制网络
摘要

视频预测一直被认为是一个难题,因为视频不仅包含高维的空间信息,还包含复杂的时间信息。视频预测可以通过在最近的几帧中找到特征,并利用这些特征生成对后续帧的近似来实现。我们通过在视频中解耦空间和时间特征来解决这一问题。为此,我们引入了一种互抑制网络(MSnet),该网络以对抗的方式进行训练,从而生成不含运动信息的空间特征以及不含空间信息的运动特征。MSnet 利用编码器-解码器架构中的运动引导连接,将前一帧的空间特征转换到后续帧的时间点。我们展示了如何使用解耦表示法通过 MSnet 进行视频预测,并进行了实验以评估我们的方法在解耦特征方面的有效性。尽管 MSnet 的编码器更为简单,但其结果优于其他近期的视频预测方法。

基于解耦特征的视频预测互抑制网络 | 最新论文 | HyperAI超神经