
摘要
动画上色是真实动画产业生产中的重要组成部分。长时间的动画上色具有较高的劳动力成本。因此,基于视频生成模型的自动化长时间动画上色具有重要的研究价值。现有的研究主要局限于短期上色。这些研究采用了局部范式,通过融合重叠特征来实现局部片段之间的平滑过渡。然而,局部范式忽略了全局信息,无法维持长时间的颜色一致性。在本研究中,我们认为通过动态全局-局部范式可以实现理想的长时间颜色一致性,即动态提取与当前生成相关的全局颜色一致特征。具体而言,我们提出了一种名为LongAnimation的新框架,该框架主要包括SketchDiT、动态全局-局部记忆(DGLM)模块和颜色一致性奖励。SketchDiT捕捉混合参考特征以支持DGLM模块。DGLM模块利用一个长视频理解模型,动态压缩全局历史特征,并将其适应性地与当前生成的特征进行融合。为了进一步优化颜色一致性,我们引入了颜色一致性奖励机制。在推理过程中,我们提出了一种颜色一致性融合方法,以平滑视频片段之间的过渡。大量的实验表明,在短期(14帧)和长期(平均500帧)动画上色任务中,LongAnimation在保持短期和长期颜色一致性方面表现出有效性。代码可在https://cn-makers.github.io/long_animation_web/ 获取。