Bits analogues : Génération de données discrètes à l’aide de modèles de diffusion à auto-conditionnement

Nous présentons Bit Diffusion : une approche simple et générique pour la génération de données discrètes à l’aide de modèles de diffusion à état continu et à temps continu. L'idée principale de notre méthode consiste à représenter d'abord les données discrètes sous forme de bits binaires, puis à entraîner un modèle de diffusion continu pour modéliser ces bits comme des nombres réels, que nous appelons des « bits analogiques ». Pour générer des échantillons, le modèle produit d’abord les bits analogiques, qui sont ensuite seuillés pour retrouver les bits correspondant aux variables discrètes. Nous proposons également deux techniques simples, nommées Auto-conditionnement et Intervalle de Temps Asymétrique, qui permettent d’améliorer significativement la qualité des échantillons générés. Malgré sa simplicité, l’approche proposée atteint des performances solides tant dans la génération d’images discrètes que dans la génération de légendes d’images. Pour la génération d’images discrètes, nous améliorons notablement les résultats précédents de l’état de l’art sur CIFAR-10 (avec 3 000 tokens discrets de 8 bits) et sur ImageNet-64x64 (avec 12 000 tokens discrets de 8 bits), surpassant même le meilleur modèle autoregressif en qualité des échantillons (mesurée par FID) et en efficacité. Pour la génération de légendes d’images sur le jeu de données MS-COCO, notre méthode obtient des résultats compétitifs par rapport aux modèles autoregressifs.