HyperAI超神经

TransPixeler:文本生成 RGBA 视频

一、教程简介

Build

TransPixeler 是由香港中文大学、香港科技大学和 Adobe 研究院于 2025 年发布的文本到视频生成方法,该方法保留了原始 RGB 模型的优势,并在有限的训练数据下实现了 RGB 和 alpha 通道之间的强对齐,能够有效地生成多样且一致的 RGBA 视频,从而推动了视觉特效和交互内容创作的可能性。相关论文成果为「TransPixeler: Advancing Text-to-Video Generation with Transparency」,已被 CVPR 2025 接受。

本教程采用资源为单卡 A6000,目前文字描述仅支持英语。

二、项目示例

三、运行步骤

1. 启动容器后点击 API 地址即可进入 Web 界面

若显示「Bad Gateway」,这表示模型正在初始化,由于模型较大,请等待约 1-2 分钟后刷新页面。

2. 进入网页后,即可与模型展开对话

参数说明:

  • Seed:  随机数种子,用于控制生成过程中的随机性。相同的 Seed 值可以生成相同的结果(前提是其他参数相同),这在结果复现中非常重要。

使用步骤

四、交流探讨

🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓

引用信息

感谢 Github 用户 xxxjjjyyy1  对本教程的部署。本项目引用信息如下:

@misc{wang2025transpixeler,
      title={TransPixeler: Advancing Text-to-Video Generation with Transparency}, 
      author={Luozhou Wang and Yijun Li and Zhifei Chen and Jui-Hsien Wang and Zhifei Zhang and He Zhang and Zhe Lin and Ying-Cong Chen},
      year={2025},
      eprint={2501.03006},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.03006}, 
}