HyperAIHyperAI

Command Palette

Search for a command to run...

Console
20 小时前

PersonaLive!用于直播的生动肖像图像动画

Zhiyuan Li Chi-Man Pun Chen Fang Jue Wang Xiaodong Cun

PersonaLive!用于直播的生动肖像图像动画

摘要

当前基于扩散模型的肖像动画生成方法主要聚焦于提升视觉质量与表情表现的真实性,却忽视了生成延迟与实时性能问题,这限制了其在直播场景中的应用范围。为此,我们提出PersonaLive——一种面向实时流式肖像动画生成的新型扩散模型框架,并采用多阶段训练策略。具体而言,我们首先引入混合隐式信号,即隐式面部表征与三维隐式关键点,实现对图像级运动的精准控制。随后,提出一种少步数外观蒸馏策略,有效消除去噪过程中的外观冗余,显著提升推理效率。最后,我们设计了一种自回归微块流式生成范式,结合滑动训练策略与历史关键帧机制,实现了低延迟且稳定的长期视频生成。大量实验表明,PersonaLive在性能上达到当前最优水平,相较于先前基于扩散模型的肖像动画方法,推理速度最高提升7至22倍。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供