MuseV
是在 2024 年 3 月由腾讯音乐娱乐的天琴实验室开源的虚拟人视频生成框架,专注于生成高质量的虚拟人视频和口型同步。它利用先进的算法,能够制作出具有高度一致性和自然表情的长视频内容。其可与已经发布的 MuseTalk 结合使用可以构建完整的「虚拟人方案」。
该模型具有以下特点:
Stable Diffusion
文图生成生态系统,包括 base_model
、 lora
、 controlnet
等。IPAdapter
、 ReferenceOnly
、 ReferenceNet
、 IPAdapterFaceID
。生成结果的所有帧直接由 MuseV
生成,没有时序超分辨、空间超分辨等任何后处理。
以下所有测试用例都可在本教程中实现,经测试生成一段 7 秒钟的视频大概需要 2 分半左右的时间,测试的最长视频时长为 20 秒,用时 8 分钟。
image | video | prompt |
(masterpiece, best quality, highres:1), peaceful beautiful sea scene | ||
(masterpiece, best quality, highres:1), playing guitar | ||
(masterpiece, best quality, highres:1), playing guitar |
image | video | prompt |
(masterpiece, best quality, highres:1), peaceful beautiful waterfall, an endless waterfall | ||
(masterpiece, best quality, highres:1), peaceful beautiful sea scene |
image | video | prompt |
(masterpiece, best quality, highres:1), is dancing, animation |
❗注意❗ 由于模型较大,容器启动成功后可能需要 1 分钟左右的时间等待模型加载完毕方可打开 API 地址。
🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓