Lernen von energiebasierten Modellen durch Diffusions-Recovery-Likelihood

Obwohl energiebasierte Modelle (Energy-Based Models, EBMs) eine Reihe wünschenswerter Eigenschaften aufweisen, bleibt die Schätzung und Stichprobenziehung auf hochdimensionalen Datensätzen herausfordernd. Inspiriert durch jüngste Fortschritte bei Diffusionswahrscheinlichkeitsmodellen präsentieren wir eine Diffusionsrekonstruktions-Wahrscheinlichkeit-Methode, um eine Folge von EBMs effizient zu lernen und zu nutzen, die jeweils auf zunehmend verrauschten Versionen eines Datensatzes trainiert wurden. Jedes EBM wird mit der Rekonstruktions-Wahrscheinlichkeit trainiert, die die bedingte Wahrscheinlichkeit der Daten bei einer bestimmten Rauschstufe unter Berücksichtigung ihrer verrauschten Versionen bei einer höheren Rauschstufe maximiert. Die Optimierung der Rekonstruktions-Wahrscheinlichkeit ist einfacher handhabbar als die der marginalen Wahrscheinlichkeit, da die Stichprobenziehung aus bedingten Verteilungen deutlich einfacher ist als aus marginalen Verteilungen. Nach dem Training können synthetische Bilder durch einen Sampling-Prozess generiert werden, der mit einer Gaußschen Weißrauschen-Verteilung beginnt und schrittweise die bedingten Verteilungen bei abnehmenden Rauschstufen abtastet. Unsere Methode erzeugt hochqualitative Stichproben auf verschiedenen Bilddatensätzen. Auf dem unbedingten CIFAR-10 erreichen wir eine FID von 9,58 und einen Inception-Score von 8,30, was die Mehrheit der GANs übertrifft. Darüber hinaus zeigen wir, dass sich im Gegensatz zu früheren Arbeiten zu EBMs unsere langfristigen MCMC-Stichproben aus den bedingten Verteilungen nicht divergieren und dennoch realistische Bilder darstellen, was es uns ermöglicht, auch für hochdimensionale Datensätze die normierte Dichte der Daten präzise zu schätzen. Unser Implementierungscode ist unter https://github.com/ruiqigao/recovery_likelihood verfügbar.