HyperAIHyperAI

Command Palette

Search for a command to run...

VFIMamba:基于状态空间模型的视频帧插值

Guozhen Zhang; Chunxu Liu; Yutao Cui; Xiaotong Zhao; Kai Ma; Limin Wang

摘要

帧间建模在视频帧插值(VFI)生成中间帧中起着关键作用。当前的方法主要依赖于卷积或基于注意力的模型,这些方法要么缺乏足够的感受野,要么计算开销巨大。最近,选择性状态空间模型(Selective State Space Models, S6)应运而生,专门用于长序列建模,提供了线性复杂度和数据依赖建模能力。本文提出了一种新的帧插值方法——VFIMamba,通过利用S6模型实现高效和动态的帧间建模。我们的方法引入了混合S6块(Mixed-SSM Block, MSB),该块首先以交错的方式重新排列相邻帧中的标记,然后应用多方向的S6建模。这种设计促进了帧间信息的有效传递,同时保持了线性复杂度。此外,我们还提出了一种新的课程学习策略,逐步培养对不同运动幅度下帧间动态建模的能力,充分释放了S6模型的潜力。实验结果表明,我们的方法在多个基准测试中达到了最先进的性能,尤其是在高分辨率场景中表现出色。特别是在X-TEST数据集上,VFIMamba在4K帧上的表现提升了0.80 dB,在2K帧上的表现提升了0.96 dB。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供