HyperAI超神经

项目简介

MuseV 是在 2024 年 3 月由腾讯音乐娱乐的天琴实验室开源的虚拟人视频生成框架，专注于生成高质量的虚拟人视频和口型同步。它利用先进的算法，能够制作出具有高度一致性和自然表情的长视频内容。其可与已经发布的 MuseTalk 结合使用可以构建完整的「虚拟人方案」。

该模型具有以下特点：

支持使用新颖的视觉条件并行去噪方案进行无限长度生成，不会再有误差累计的问题，尤其适用于固定相机位的场景。
提供了基于人物类型数据集训练的虚拟人视频生成预训练模型。
支持图像到视频、文本到图像到视频、视频到视频的生成。
兼容 Stable Diffusion 文图生成生态系统，包括 base_model 、 lora 、 controlnet 等。
支持多参考图像技术，包括 IPAdapter 、 ReferenceOnly 、 ReferenceNet 、 IPAdapterFaceID 。

生成结果的所有帧直接由 MuseV 生成，没有时序超分辨、空间超分辨等任何后处理。

以下所有测试用例都可在本教程中实现，经测试生成一段 7 秒钟的视频大概需要 2 分半左右的时间，测试的最长视频时长为 20 秒，用时 8 分钟。

❗注意❗ 由于模型较大，容器启动成功后可能需要 1 分钟左右的时间等待模型加载完毕方可打开 API 地址。

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

image	video	prompt
		(masterpiece, best quality, highres:1), peaceful beautiful sea scene
		(masterpiece, best quality, highres:1), playing guitar
		(masterpiece, best quality, highres:1), playing guitar

image	video	prompt
		(masterpiece, best quality, highres:1), peaceful beautiful waterfall, an endless waterfall
		(masterpiece, best quality, highres:1), peaceful beautiful sea scene

image	video	prompt
		(masterpiece, best quality, highres:1), is dancing, animation