HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen von energiebasierten Modellen durch Diffusions-Recovery-Likelihood

Ruiqi Gao Yang Song Ben Poole Ying Nian Wu Diederik P. Kingma

Zusammenfassung

Obwohl energiebasierte Modelle (Energy-Based Models, EBMs) eine Reihe wünschenswerter Eigenschaften aufweisen, bleibt die Schätzung und Stichprobenziehung auf hochdimensionalen Datensätzen herausfordernd. Inspiriert durch jüngste Fortschritte bei Diffusionswahrscheinlichkeitsmodellen präsentieren wir eine Diffusionsrekonstruktions-Wahrscheinlichkeit-Methode, um eine Folge von EBMs effizient zu lernen und zu nutzen, die jeweils auf zunehmend verrauschten Versionen eines Datensatzes trainiert wurden. Jedes EBM wird mit der Rekonstruktions-Wahrscheinlichkeit trainiert, die die bedingte Wahrscheinlichkeit der Daten bei einer bestimmten Rauschstufe unter Berücksichtigung ihrer verrauschten Versionen bei einer höheren Rauschstufe maximiert. Die Optimierung der Rekonstruktions-Wahrscheinlichkeit ist einfacher handhabbar als die der marginalen Wahrscheinlichkeit, da die Stichprobenziehung aus bedingten Verteilungen deutlich einfacher ist als aus marginalen Verteilungen. Nach dem Training können synthetische Bilder durch einen Sampling-Prozess generiert werden, der mit einer Gaußschen Weißrauschen-Verteilung beginnt und schrittweise die bedingten Verteilungen bei abnehmenden Rauschstufen abtastet. Unsere Methode erzeugt hochqualitative Stichproben auf verschiedenen Bilddatensätzen. Auf dem unbedingten CIFAR-10 erreichen wir eine FID von 9,58 und einen Inception-Score von 8,30, was die Mehrheit der GANs übertrifft. Darüber hinaus zeigen wir, dass sich im Gegensatz zu früheren Arbeiten zu EBMs unsere langfristigen MCMC-Stichproben aus den bedingten Verteilungen nicht divergieren und dennoch realistische Bilder darstellen, was es uns ermöglicht, auch für hochdimensionale Datensätze die normierte Dichte der Daten präzise zu schätzen. Unser Implementierungscode ist unter https://github.com/ruiqigao/recovery_likelihood verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp