Une génération rapide et de haute qualité des langages constitue le Graal que l’humanité poursuit à l’ère de l’intelligence artificielle. Dans ce travail, nous introduisons DiDi-Instruct, une méthode d’apprentissage fondée sur la distillation, qui part d’un modèle pré-entraîné de langage à diffusion discrète (masquée), appelé dLLM, pour extraire un modèle étudiant à quelques étapes, permettant ainsi une génération accélérée. Le modèle DiDi-Instruct ainsi obtenu atteint des performances comparables ou supérieures à celles de son modèle enseignant dLLM ainsi qu’à la base GPT-2, tout en offrant une accélération pouvant atteindre 64 fois. La fondation théorique de DiDi-Instruct repose sur un cadre novateur fondé sur la minimisation de la divergence KL intégrée, qui conduit à un algorithme d’entraînement pratique. Nous introduisons également une normalisation récompensée par groupes, un alignement d’états intermédiaires, ainsi qu’un échantillonneur ancestral guidé par la récompense, des innovations qui améliorent significativement la stabilité de l’entraînement, la couverture du modèle et la qualité de la génération. Sur le corpus OpenWebText, DiDi-Instruct atteint une perplexité variant de 62,2 (8 NFEs) à 18,4 (128 NFEs), surpassant ainsi les dLLM accélérés antérieurs ainsi que la base GPT-2. Ces gains s’accompagnent d’une perte d’entropie négligeable (environ ) et réduisent le temps de calcul supplémentaire pendant l’entraînement de plus de par rapport aux méthodes concurrentes de distillation de dLLM. Nous validons également de manière approfondie la robustesse et l’efficacité de DiDi-Instruct à travers des études d’ablation étendues, des expérimentations d’échelle de modèles et la génération de séquences protéiques discrètes. En conclusion, DiDi-Instruct est une méthode de distillation à la fois efficace et performante, permettant une génération de langage en un clin d’œil.