Abstract

Diffusions-Sprachmodelle versprechen bidirektionale Kontextinformation und Infilling-Fähigkeiten, die autoregressive Codierer vermissen, doch praktische Systeme bleiben schwerfällig. Wir stellen CoDA vor, einen 1,7-Billionen-Parameter-Modell-Diffusionscoder, der auf TPU trainiert wurde und über eine vollständig open-source-Trainingspipeline verfügt. CoDA kombiniert großskaliges Diffusions-Pre-Training mit codezentriertem Mid-Training und Anweisungstuning, wodurch sampling-basierte Prozesse mit Vertrauensschwelle ermöglicht werden, die die Inferenzlatenz wettbewerbsfähig halten. Auf den Benchmarks Humaneval, MBPP und EvalPlus erreicht oder übertrifft CoDA-1,7B-Instruct Diffusionsmodelle mit bis zu 7 Milliarden Parametern. Unsere Veröffentlichung umfasst Modell-Checkpoint, Evaluations-Harnesses sowie TPU-Trainings-Pipelines, um die Forschung an leichten, auf Diffusion basierenden Code-Assistenten zu beschleunigen.