11 天前
Seed Diffusion：一种具备高速推理能力的大规模扩散语言模型
\Yuxuan Song\, \ Zheng Zhang\, \ Cheng Luo\, \ Pengyang Gao\, \ Fan Xia\, \ Hao Luo\, \ Zheng Li\, \ Yuehang Yang\, \ Hongli Yu\, \ Xingwei Qu\, \ Yuwei Fu\, \ Jing Su\, \ Ge Zhang\, \ Wenhao Huang\, \ Mingxuan Wang\, \ Lin Yan\, \ Xiaoying Jia\, \ Jingjing Liu\, \ Wei-Ying Ma\, \ Ya-Qin Zhang\, \ Yonghui Wu\, \ Hao Zhou\
摘要
我们提出Seed Diffusion Preview，这是一种基于离散状态扩散机制的大规模语言模型，具备极快的推理速度。得益于非顺序的并行生成机制，离散扩散模型显著提升了推理效率，有效缓解了传统逐标记解码带来的固有延迟，这一优势已在近期研究中得到验证（例如Mercury Coder、Gemini Diffusion）。在H20 GPU上，Seed Diffusion Preview实现了2,146 token/s的推理速度，同时在一系列标准代码评估基准上保持了具有竞争力的性能表现，显著优于当前主流的Mercury与Gemini Diffusion模型，在代码模型的“速度-质量”帕累托前沿上树立了新的技术标杆。