摘要

扩散语言模型有望实现自回归编码器所不具备的双向上下文建模与填空生成能力，但现有的实用系统仍普遍计算开销较大。我们提出 CoDA，一个参数量为 1.7B 的扩散编码器，基于 TPU 完成训练，并配备了完全开源的训练流程。CoDA 结合大规模扩散预训练、以代码为中心的中段微调以及指令微调，实现了基于置信度引导的采样机制，从而在保持推理延迟竞争力的同时提升生成质量。在 HumanEval、MBPP 和 EvalPlus 基准测试中，CoDA-1.7B-Instruct 的性能达到或超越了参数量高达 7B 的其他扩散模型。我们已公开发布模型检查点、评估工具包以及 TPU 训练流水线，旨在加速轻量级基于扩散模型的代码辅助工具的研究进程。