Génération d’images autoregressive sans quantification vectorielle

La sagesse conventionnelle considère que les modèles autoregressifs pour la génération d’images sont généralement associés à des tokens quantifiés vectoriellement. Nous observons qu’alors qu’un espace à valeurs discrètes peut faciliter la représentation d’une distribution catégorielle, il n’est pas une condition nécessaire pour la modélisation autoregressive. Dans ce travail, nous proposons de modéliser la distribution de probabilité par token à l’aide d’une procédure de diffusion, ce qui permet d’appliquer des modèles autoregressifs dans un espace à valeurs continues. Au lieu d’utiliser une fonction de perte d’entropie croisée catégorique, nous définissons une fonction de perte de diffusion pour modéliser la probabilité par token. Cette approche élimine la nécessité d’un tokeniseur à valeurs discrètes. Nous évaluons son efficacité dans un large éventail de cas, incluant les modèles autoregressifs standards ainsi que leurs variantes généralisées à autoregression masquée (MAR). En supprimant la quantification vectorielle, notre générateur d’images atteint des résultats performants tout en bénéficiant de l’avantage de vitesse propre au traitement séquentiel. Nous espérons que ce travail encouragera l’utilisation de la génération autoregressive dans d’autres domaines et applications à valeurs continues. Le code est disponible à l’adresse suivante : https://github.com/LTH14/mar.