HyperAIHyperAI

Command Palette

Search for a command to run...

用于未来视频预测的折叠递归神经网络

Marc Oliu Javier Selva Sergio Escalera

摘要

未来视频预测是一个近年来备受关注的计算机视觉难题。其主要挑战在于视频内容的高度变异性、误差在时间上的传播以及未来帧的非特异性:给定一系列过去的帧,存在一个连续分布的可能未来。本研究引入了双射门控循环单元(bijective Gated Recurrent Units),即在GRU层的输入和输出之间建立双向映射。这使得循环自编码器能够在编码器和解码器之间共享状态,分层表示序列并有助于防止容量问题。我们展示了在这种拓扑结构下,仅需应用编码器进行输入编码,而解码器则用于预测。这不仅降低了计算成本,而且在生成帧序列时避免了重新编码预测结果,从而减轻了误差传播的问题。此外,可以从已经训练好的模型中移除某些层,以揭示每层所执行的功能,并提高模型的可解释性。我们在三个视频数据集上评估了我们的方法,在MMNIST和UCF101数据集上取得了优于现有最佳方法的预测结果,在KTH数据集上则以2倍到3倍更低的内存使用量和计算成本获得了具有竞争力的结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供