海藻-7B：成本效益高的视频生成基础模型训练
Team Seawead, Ceyuan Yang, Zhijie Lin, Yang Zhao, Shanchuan Lin, Zhibei Ma, Haoyuan Guo, Hao Chen, Lu Qi, Sen Wang, Feng Cheng, Feilong Zuo Xuejiao Zeng, Ziyan Yang, Fangyuan Kong, Zhiwu Qing, Fei Xiao, Meng Wei, Tuyen Hoang, Siyu Zhang, Peihao Zhu, Qi Zhao, Jiangqiao Yan, Liangke Gui, Sheng Bi, Jiashi Li, Yuxi Ren, Rui Wang, Huixia Li, Xuefeng Xiao, Shu Liu, Feng Ling, Heng Zhang, Houmin Wei, Huafeng Kuang, Jerry Duncan, Junda Zhang, Junru Zheng, Li Sun, Manlin Zhang, Renfei Sun, Xiaobin Zhuang, Xiaojie Li, Xin Xia, Xuyan Chi, Yanghua Peng, Yuping Wang, Yuxuan Wang, Zhongkai Zhao, Zhuo Chen, Zuquan Song, Zhenheng Yang, Jiashi Feng, Jianchao Yang, Lu Jiang
发布日期: 4/16/2025
摘要
本技术报告提出了一种成本效益高的视频生成基础模型训练策略。我们介绍了一个中等规模的研究模型，该模型包含约70亿个参数（7B），称为Seaweed-7B，从零开始使用665,000个H100 GPU小时进行训练。尽管使用了中等的计算资源进行训练，Seaweed-7B在性能上与当前规模更大的视频生成模型相比表现出高度竞争力。在资源受限的情况下，设计选择尤为重要。本技术报告重点介绍了提高中等规模扩散模型性能的关键设计决策。通过实证研究，我们得出了两个观察结果：（1）Seaweed-7B在性能上与使用大量GPU资源训练的更大规模模型相当，甚至超越了后者；（2）我们的模型表现出强大的泛化能力，可以通过轻量级微调或继续训练有效适应广泛下游应用。项目页面请参见：https://seaweed.video/