Au-delà du fixe : débruitage à longueur variable pour les grands modèles linguistiques à diffusion

Les Modèles Linguistiques à Grand Échelle par Diffusion (DLLMs) émergent comme une alternative puissante aux Modèles Linguistiques à Grand Échelle autoregressifs dominants, offrant une génération parallèle efficace et une modélisation contextuelle globale. Toutefois, leur application pratique est freinée par une contrainte architecturale fondamentale : la nécessité d’un nombre de générations prédéfini de manière statique. Cette allocation fixe du nombre de tokens entraîne un compromis problématique : des longueurs insuffisantes entravent les performances sur des tâches complexes, tandis que des longueurs excessives engendrent un surcroît computationnel significatif, parfois accompagné d’une dégradation des performances. Bien que le cadre d’inférence soit rigide, nous observons que le modèle lui-même possède des signaux internes corrélés à la longueur optimale de réponse pour une tâche donnée. Pour combler cet écart, nous exploitons ces signaux latents et proposons DAEDAL, une nouvelle stratégie de débruitage sans entraînement permettant une expansion dynamique et adaptative de la longueur pour les DLLMs. DAEDAL s’articule en deux phases : 1) avant le processus de débruitage, DAEDAL part d’une longueur initiale courte et l’élargit itérativement jusqu’à atteindre une longueur brute adaptée à la tâche, guidée par un indicateur de complétion de séquence ; 2) pendant le débruitage, DAEDAL intervient de manière dynamique en identifiant et en élargissant les régions de génération insuffisantes grâce à l’insertion de tokens masqués, garantissant ainsi que la sortie finale soit pleinement développée. Des expérimentations étendues sur des DLLMs montrent que DAEDAL atteint des performances comparables, voire supérieures dans certains cas, à celles des modèles de référence à longueur fixe soigneusement ajustés, tout en améliorant simultanément l’efficacité computationnelle grâce à un taux de tokens effectifs plus élevé. En résolvant la contrainte de longueur statique, DAEDAL libère un nouveau potentiel aux DLLMs, comble une lacune critique par rapport à leurs homologues autoregressifs, et ouvre la voie à une génération plus efficace et plus performante.