VFIMamba：基于状态空间模型的视频帧插值

帧间建模在视频帧插值（VFI）生成中间帧中起着关键作用。当前的方法主要依赖于卷积或基于注意力的模型，这些方法要么缺乏足够的感受野，要么计算开销巨大。最近，选择性状态空间模型（Selective State Space Models, S6）应运而生，专门用于长序列建模，提供了线性复杂度和数据依赖建模能力。本文提出了一种新的帧插值方法——VFIMamba，通过利用S6模型实现高效和动态的帧间建模。我们的方法引入了混合S6块（Mixed-SSM Block, MSB），该块首先以交错的方式重新排列相邻帧中的标记，然后应用多方向的S6建模。这种设计促进了帧间信息的有效传递，同时保持了线性复杂度。此外，我们还提出了一种新的课程学习策略，逐步培养对不同运动幅度下帧间动态建模的能力，充分释放了S6模型的潜力。实验结果表明，我们的方法在多个基准测试中达到了最先进的性能，尤其是在高分辨率场景中表现出色。特别是在X-TEST数据集上，VFIMamba在4K帧上的表现提升了0.80 dB，在2K帧上的表现提升了0.96 dB。