HyperAIHyperAI

Command Palette

Search for a command to run...

CoDA : Codage des ML par adaptation par diffusion

Résumé

Les modèles de diffusion promettent des capacités bidirectionnelles de contexte et d’inférence de données manquantes, des avantages absents des modèles autoregressifs traditionnels, mais les systèmes pratiques restent encore lourds. Nous présentons CoDA, un modèle de diffusion de 1,7 milliard de paramètres, entraîné sur TPU grâce à une chaîne d’entraînement entièrement open source. CoDA associe un pré-entraînement à grande échelle par diffusion, une phase d’ajustement intermédiaire centrée sur le code, ainsi qu’un ajustement par instruction, permettant un échantillonnage guidé par la confiance tout en maintenant une latence d’inférence compétitive. Sur les benchmarks Humaneval, MBPP et EvalPlus, CoDA-1.7B-Instruct égale ou dépasse les modèles de diffusion jusqu’à 7 milliards de paramètres. Notre libération inclut des points de contrôle du modèle, des outils d’évaluation et des pipelines d’entraînement sur TPU, afin d’accélérer la recherche sur des assistants de codage légers basés sur la diffusion.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
CoDA : Codage des ML par adaptation par diffusion | Articles | HyperAI