DiffuCode-7B-cpGRPO : Un Modèle De Génération De Code Basé Sur La Technologie De Diffusion De Masque

1. Introduction au tutoriel

DiffuCoder-7B-cpGRPO est un modèle de génération de code basé sur la diffusion masquée (dLLM), initialement proposé par l'équipe Apple dans un article connexe publié le 25 juin 2025. Il a été entraîné avec plus de 20 000 exemples de code soigneusement sélectionnés. Ce modèle vise à générer et éditer du code par débruitage itératif, plutôt que par la génération autorégressive traditionnelle de gauche à droite. Une caractéristique notable de DiffuCoder-7B-cpGRPO est qu'il ne repose pas strictement sur la génération de gauche à droite pour générer du code, ce qui lui confère un score de 4,4% supérieur à celui des autres modèles de programmation basés sur la diffusion dans les benchmarks de programmation courants. Cette capacité de génération de code non séquentielle lui confère une flexibilité et une efficacité accrues dans les tâches d'édition et de génération de code. Les résultats de l'article sont les suivants :DiffuCoder : comprendre et améliorer les modèles de diffusion masquée pour la génération de code".

Ce tutoriel utilise des ressources pour une seule carte RTX 4090.

2. Exemples de projets

3. Étapes de l'opération

1. Après avoir démarré le conteneur, cliquez sur l'adresse API pour accéder à l'interface Web

2. Étapes d'utilisation

Si « Bad Gateway » s'affiche, cela signifie que le modèle est en cours d'initialisation. Étant donné que le modèle est grand, veuillez patienter environ 2 à 3 minutes et actualiser la page.

Description des paramètres

• Paramètres avancés :
  • Température : contrôle la diversité de la génération, plus elle est élevée plus elle est aléatoire, plus elle est basse plus elle est déterministe.
  • Top-p : seuil cumulatif d'échantillonnage probabiliste. Plus la valeur est faible, plus la génération est prudente.
  • Max-tokens : limite la longueur maximale d'une seule génération du modèle.

4. Discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓

Informations sur la citation

Les informations de citation pour ce projet sont les suivantes :

@article{gong2025diffucoder,
  title={DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation},
  author={Shansan Gong, Ruixiang Zhang, Huangjie Zheng, Jiatao Gu, Navdeep Jaitly, Lingpeng Kong, Yizhe Zhang},
  year={2025},
  eprint={2506.20639},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2506.20639},
}