HyperAIHyperAI

Command Palette

Search for a command to run...

Au-delà du fixe : débruitage à longueur variable pour les grands modèles linguistiques à diffusion

Jinsong Li Xiaoyi Dong Yuhang Zang Yuhang Cao Jiaqi Wang Dahua Lin

Résumé

Les Modèles Linguistiques à Grand Échelle par Diffusion (DLLMs) émergent comme une alternative puissante aux Modèles Linguistiques à Grand Échelle autoregressifs dominants, offrant une génération parallèle efficace et une modélisation contextuelle globale. Toutefois, leur application pratique est freinée par une contrainte architecturale fondamentale : la nécessité d’un nombre de générations prédéfini de manière statique. Cette allocation fixe du nombre de tokens entraîne un compromis problématique : des longueurs insuffisantes entravent les performances sur des tâches complexes, tandis que des longueurs excessives engendrent un surcroît computationnel significatif, parfois accompagné d’une dégradation des performances. Bien que le cadre d’inférence soit rigide, nous observons que le modèle lui-même possède des signaux internes corrélés à la longueur optimale de réponse pour une tâche donnée. Pour combler cet écart, nous exploitons ces signaux latents et proposons DAEDAL, une nouvelle stratégie de débruitage sans entraînement permettant une expansion dynamique et adaptative de la longueur pour les DLLMs. DAEDAL s’articule en deux phases : 1) avant le processus de débruitage, DAEDAL part d’une longueur initiale courte et l’élargit itérativement jusqu’à atteindre une longueur brute adaptée à la tâche, guidée par un indicateur de complétion de séquence ; 2) pendant le débruitage, DAEDAL intervient de manière dynamique en identifiant et en élargissant les régions de génération insuffisantes grâce à l’insertion de tokens masqués, garantissant ainsi que la sortie finale soit pleinement développée. Des expérimentations étendues sur des DLLMs montrent que DAEDAL atteint des performances comparables, voire supérieures dans certains cas, à celles des modèles de référence à longueur fixe soigneusement ajustés, tout en améliorant simultanément l’efficacité computationnelle grâce à un taux de tokens effectifs plus élevé. En résolvant la contrainte de longueur statique, DAEDAL libère un nouveau potentiel aux DLLMs, comble une lacune critique par rapport à leurs homologues autoregressifs, et ouvre la voie à une génération plus efficace et plus performante.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Au-delà du fixe : débruitage à longueur variable pour les grands modèles linguistiques à diffusion | Articles | HyperAI