HyperAIHyperAI

Command Palette

Search for a command to run...

Autoregressive Image Generation ohne Vektorquantisierung

Tianhong Li Yonglong Tian He Li Mingyang Deng Kaiming He

Zusammenfassung

Die etablierte Auffassung besagt, dass autoregressive Modelle für die Bildgenerierung typischerweise mit vektorquantisierten Tokens einhergehen. Wir beobachten, dass ein diskreter Wertebereich zwar die Darstellung einer kategorialen Verteilung erleichtern kann, jedoch keine zwingende Voraussetzung für autoregressive Modelle ist. In dieser Arbeit schlagen wir vor, die pro-Token-Wahrscheinlichkeitsverteilung mittels eines Diffusionsverfahrens zu modellieren, wodurch autoregressive Modelle in einem kontinuierlichen Wertebereich angewendet werden können. Anstelle der herkömmlichen kategorischen Kreuzentropieverlustfunktion definieren wir eine Diffusionsverlustfunktion zur Modellierung der pro-Token-Wahrscheinlichkeit. Dieser Ansatz entfällt den Bedarf an diskreten Tokenisierern. Wir evaluieren die Wirksamkeit unseres Ansatzes in einer Vielzahl von Szenarien, einschließlich standardmäßiger autoregressiver Modelle sowie verallgemeinerter maskierter autoregressiver (MAR) Varianten. Durch die Eliminierung der Vektorquantisierung erzielt unser Bildgenerator starke Ergebnisse und profitiert gleichzeitig von der Geschwindigkeitsvorteile der Sequenzmodellierung. Wir hoffen, dass diese Arbeit die Anwendung autoregressiver Generierung in anderen kontinuierlichen Wertebereichen und Anwendungsfeldern anregen wird. Der Quellcode ist unter folgender URL verfügbar: https://github.com/LTH14/mar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Autoregressive Image Generation ohne Vektorquantisierung | Paper | HyperAI