FramePack 低显存视频生成 Demo

一、教程简介

FramePack 是由 ControlNet 作者张吕敏团队于 2025 年 4 月开发的开源视频生成框架，它通过创新的神经网络架构，有效解决了传统视频生成中显存占用高、漂移和遗忘等问题，并显著降低了硬件要求。相关论文成果为「Packing Input Frame Context in Next-Frame Prediction Models for Video Generation」。

本教程算力资源采用 RTX 4090 。

效果示例

项目要求

• RTX 30XX 、 40XX 、 50XX 系列中的 Nvidia GPU，支持 fp16 和 bf16 。 GTX 10XX/20XX 未经过测试。
• Linux 或 Windows 作系统。
• 至少 6GB GPU 内存。

要使用 13B 型号以 30fps（1800 帧）的速度生成 1 分钟视频（60 秒），所需的最小 GPU 内存为 6GB 。

关于速度方面，在 RTX 4090 台式机上，它的生成速度为 2.5 秒/帧（未优化）或 1.5 秒/帧 (teacache) 。在笔记本电脑上，如 3070ti 笔记本电脑或 3060 笔记本电脑，它的速度大约慢 4 到 8 倍。如果您的速度比这慢得多，请进行故障排除。。

在视频生成过程中，可以直接看到生成的帧，因为它使用了 next-frame (-section) 预测。因此，在生成整个视频之前，您将获得大量的视觉反馈。

二、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

若显示「Bad Gateway」，这表示模型正在初始化，由于模型较大，请等待约 1-2 分钟后刷新页面。

2. 功能演示

上传图片并添加提示词后，点击「Start Generation」即可生成视频。

引用信息

感谢 GitHub 用户 boyswu  对本教程的制作，本项目引用信息如下：

@article{zhang2025framepack,
    title={Packing Input Frame Contexts in Next-Frame Prediction Models for Video Generation},
    author={Lvmin Zhang and Maneesh Agrawala},
    journal={Arxiv},
    year={2025}
}

交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓