Résumé

Les modèles de diffusion promettent des capacités bidirectionnelles de contexte et d’inférence de données manquantes, des avantages absents des modèles autoregressifs traditionnels, mais les systèmes pratiques restent encore lourds. Nous présentons CoDA, un modèle de diffusion de 1,7 milliard de paramètres, entraîné sur TPU grâce à une chaîne d’entraînement entièrement open source. CoDA associe un pré-entraînement à grande échelle par diffusion, une phase d’ajustement intermédiaire centrée sur le code, ainsi qu’un ajustement par instruction, permettant un échantillonnage guidé par la confiance tout en maintenant une latence d’inférence compétitive. Sur les benchmarks Humaneval, MBPP et EvalPlus, CoDA-1.7B-Instruct égale ou dépasse les modèles de diffusion jusqu’à 7 milliards de paramètres. Notre libération inclut des points de contrôle du modèle, des outils d’évaluation et des pipelines d’entraînement sur TPU, afin d’accélérer la recherche sur des assistants de codage légers basés sur la diffusion.