清华AI研究院发布Seed Diffusion：推理速度突破2000 tokens/秒，性能超越Gemini Diffusion

清华大学智能产业研究院（AIR）联合字节跳动Seed及SIA-Lab发布全新研究成果——Seed Diffusion Preview，一种基于扩散模型的超大规模语言生成模型。该模型在代码生成任务中实现每秒2146个token的推理速度，较同等规模的自回归模型提升5.4倍，性能表现与主流自回归模型相当，甚至在代码编辑等需全局规划的任务中实现超越，标志着扩散模型在离散语言生成领域迈出关键一步。 长期以来，自回归模型虽主导语言生成，但存在推理慢、难以全局控制等瓶颈。扩散模型凭借从粗到精的并行生成机制，在图像、视频等领域表现卓越，但其在自然语言等离散空间的应用面临根本挑战：如何在非连续状态空间中实现高效、高质量生成。为此，研究团队提出四项核心技术突破。 首先，采用两阶段课程学习策略，使模型在训练初期聚焦局部掩码恢复，后期引入全局一致性校正，提升生成逻辑性。其次，引入结构化先验，通过约束顺序训练与轨迹蒸馏，引导模型掌握变量声明与使用等语言依赖关系，避免生成混乱。第三，提出同策略学习范式，通过最小化生成步数并结合验证器模型保障质量，利用代理损失函数稳定训练过程，实现高效收敛。第四，实施系统级工程优化，采用块级并行采样与KV缓存机制，在保持因果顺序的同时支持灵活分块推理，显著降低延迟。 实验表明，Seed Diffusion Preview在多个公开代码基准上表现优异，尤其在CanitEdit等需要结构化推理的任务中领先。其高速与高质并存的特性，为语言模型的生成范式变革提供了新路径。 研究团队指出，尽管推理加速是当前显著优势，但更深远的意义在于探索扩散模型在复杂推理、多步规划等任务中的潜力。未来，Seed Diffusion项目将持续挖掘其规模化规律与在真实复杂场景中的应用价值，推动生成式AI迈向更高效、更智能的新阶段。