HyperAI超神经

LivePortrait 快手开源图生视频数字人 Demo

LivePortrait 只需 1 张原图就能生成动态视频

教程介绍

该教程为 LivePortrait 最新版一键运行 Demo,相关环境和依赖已经安装完毕,一键克隆启动即可体验。

LivePortrait 由快手可灵大模型团队开源,主要功能包括从单一图像生成生动动画、精确控制眼睛和嘴唇的动作、处理多个人物肖像的无缝拼接、支持多风格肖像、生成高分辨率动画等。该项目使用的是基于隐式关键点框架的 AI 肖像动画生成框架。它能够将驱动视频的表情和姿态迁移到静态或动态人像上,生成极具表现力的视频。

在最新版本中,模型加入了精确画像编辑,视频编辑等多个有趣的功能。

运行方法

1. 克隆并启动容器后, 复制生成的 API 地址到浏览器即可进入 Gradio 界面推理体验

2. 打开链接后可以看到下图界面,分别上传图片和视频,点击 Animate 并等待片刻就会生成视频结果。

  • 图片素材: 上传一张高分辨率的正面肖像照片。确保照片清晰,光线分布均匀,避免出现曝光过度或阴影过重的情况。
  • 参考视频: 上传一段参考视频,用于驱动人像的表情和头部动作。视频中的人物可以进行对话、歌唱或做出各种表情。
1

可以在「Animation Options」处选择是否启用以下 3 个选项:relative motion(相对运动)、 do crop(裁剪)和 paste-back(背景粘贴)

在新版本中还可以选择更注重视频的表情还是动作,以及动作的流畅程度等参数。

以下是一些示例:

3. portrait video editing 模式

在新版下方的界面中还可以选择是否进入 portrait video editing 模式,可以对于视频进行相应的更改。

4. Precise Portrait Editing 模式

界面的下一个板块为 Precise Portrait Editing 模式。用户可以自己选择改变眉毛,嘴巴大小,wink,微笑程度等参数来生成新的图片。同时也可以移动脸部的位置。

效果如图所示

5. Retargeting Video 模式

在 demo 界面的最下方中还可以体验 Retargeting Video 模式,该模式可以调整视频中人物的嘴的张开大小。当把 target lip-open ratio 调为 0 时,可以看到新生成的视频中人物的嘴闭合了。

交流探讨

🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓