Analog Bits: Generierung diskreter Daten mittels Diffusionsmodelle mit Selbstbedingung

Wir präsentieren Bit Diffusion: einen einfachen und generischen Ansatz zur Generierung diskreter Daten mithilfe kontinuierlicher Zustands- und kontinuierlicher Zeit-Diffusionsmodelle. Der zentrale Gedanke unseres Ansatzes besteht darin, diskrete Daten zunächst als Binärbits darzustellen und anschließend ein kontinuierliches Diffusionsmodell zu trainieren, das diese Bits als reelle Zahlen modelliert, die wir als „analoge Bits“ bezeichnen. Zur Generierung von Samples erzeugt das Modell zunächst die analogen Bits, die anschließend durch eine Schwellwertoperation in die ursprünglichen Bits für die diskreten Variablen transformiert werden. Weiterhin schlagen wir zwei einfache Techniken vor – sogenannte Selbstbedingung (Self-Conditioning) und asymmetrische Zeitintervalle (Asymmetric Time Intervals) –, die eine signifikante Verbesserung der Qualität der generierten Samples ermöglichen. Trotz seiner Einfachheit erreicht der vorgeschlagene Ansatz starke Leistungen sowohl bei der Generierung diskreter Bilder als auch bei der Bildbeschreibung. Bei der Generierung diskreter Bilder übertrifft unser Ansatz die bisher beste state-of-the-art-Leistung erheblich sowohl auf CIFAR-10 (mit 3.000 diskreten 8-Bit-Token) als auch auf ImageNet-64x64 (mit 12.000 diskreten 8-Bit-Token) und erreicht dabei sowohl in Bezug auf die Qualität der Samples (gemessen anhand des FID) als auch in Effizienz die besten autoregressiven Modelle. Bei der Bildbeschreibung auf dem MS-COCO-Datensatz erzielt unser Ansatz wettbewerbsfähige Ergebnisse im Vergleich zu autoregressiven Modellen.