HyperAIHyperAI

Command Palette

Search for a command to run...

La Dualité de la Diffusion

Résumé

Les modèles de diffusion discrète à état uniforme offrent la promesse d'une génération de texte rapide grâce à leur capacité inhérente à s'auto-corriger. Cependant, ils sont généralement surpassés par les modèles auto-régressifs et les modèles de diffusion masquée. Dans cette étude, nous réduisons cet écart de performance en exploitant une intuition clé : les processus de diffusion à état uniforme émergent naturellement d'une diffusion gaussienne sous-jacente. Notre méthode, Duo, transfère des techniques puissantes de la diffusion gaussienne pour améliorer à la fois l'entraînement et l'échantillonnage. Premièrement, nous introduisons une stratégie d'apprentissage par programme progressif guidée par le processus gaussien, qui double la vitesse d'entraînement en réduisant la variance. Les modèles entraînés avec cette stratégie d'apprentissage par programme progressif dépassent les modèles auto-régressifs en termes de perplexité zéro-shot sur 3 des 7基准 (benchmarks). Deuxièmement, nous présentons la distillation de cohérence discrète, qui adapte la distillation de cohérence du cadre continu au cadre discret. Cet algorithme permet une génération en quelques étapes dans les modèles de langage de diffusion en accélérant l'échantillonnage de deux ordres de grandeur. Nous mettons à disposition le code et les points de contrôle du modèle sur la page du projet : http://s-sahoo.github.io/duoNote: "基准" is translated as "benchmarks" in parentheses to ensure clarity for French readers who may not be familiar with the term.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
La Dualité de la Diffusion | Articles | HyperAI