Qinglin Zhu Yizhen Yao Runcong Zhao Yanzheng Xiang Amrutha Saseendran Chen Jin Philip Alexander Teare Bin Liang Yulan He Lin Gui

Résumé

Les modèles autorégressifs (AR) restent la norme pour la génération de langage naturel, mais ils souffrent encore d’une latence élevée en raison du décodage strictement séquentiel. Les approches récentes inspirées des modèles de diffusion, telles que LlaDA et Dream, atténuent ce problème en générant en parallèle, mais elles présentent deux limitations fondamentales : une perte d’information, puisque les distributions prédictives des jetons non finalisés sont rejetées à chaque étape, et un engagement prématuré, où des décisions locales sont prises sans coordination globale suffisante. Nous proposons Latent Refinement Decoding (LRD), un cadre en deux étapes comprenant une phase de raffinement latent et une boucle de rétroaction prédictive. La première étape conserve les positions masquées sous la forme de mélanges distributionnels de jetons prédits et d’un embedding de masque, permettant au modèle d’établir des croyances plus cohérentes au niveau global. La deuxième étape finalise progressivement les jetons dont la confiance est élevée, tout en conservant les incertains pour une rétroaction itérative. La dynamique de divergence de Kullback-Leibler (KL) fournit un critère rigoureux et fiable pour la convergence et l’arrêt anticipé. Des expériences menées sur des tâches de codage (HumanEval +6,3, MBPP +2,6) et de raisonnement (GSM8K +2,9, MATH500 +3,8) montrent que LRD améliore l’exactitude tout en offrant des accélérations allant jusqu’à 10,6×, ce qui en fait une alternative puissante et polyvalente pour la génération parallèle de séquences.