HyperAIHyperAI

Command Palette

Search for a command to run...

Wan-Animate:基于整体复现的统一角色动画与替换

摘要

我们提出 Wan-Animate,这是一个统一的角色动画与替换框架。给定一张角色图像和一段参考视频,Wan-Animate 能够通过精确复现视频中角色的表情与动作,生成高保真度的角色动画视频。 Alternatively,该框架也可将动画化角色无缝融入参考视频,替换原视频中的角色,同时复现场景的光照与色彩风格,实现自然的环境融合。Wan-Animate 基于 Wan 模型构建。为适配角色动画任务,我们采用改进的输入范式,以区分参考条件与生成区域,从而将多种任务统一为一种共通的符号化表示。通过使用空间对齐的骨骼信号复现身体动作,并利用源图像隐式提取的面部特征实现表情重演,Wan-Animate 能够生成具有高度可控性与表现力的角色视频。此外,为提升角色替换过程中的环境融合效果,我们设计了一种辅助的 Relighting LoRA 模块,该模块在保持角色外观一致性的前提下,精准应用环境光照与色彩风格。实验结果表明,Wan-Animate 在多项指标上达到当前最优性能。我们致力于开源该模型的权重及源代码,以推动相关领域的研究与发展。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Wan-Animate:基于整体复现的统一角色动画与替换 | 论文 | HyperAI超神经