Generatives Modellieren durch Schätzung der Gradienten der Datenverteilung

Wir stellen ein neues generatives Modell vor, bei dem Stichproben durch Langevin-Dynamik unter Verwendung von Gradienten der Datenverteilung erzeugt werden, die mit Score-Matching geschätzt werden. Da Gradienten bei Daten auf niedrigdimensionalen Mannigfaltigkeiten schlecht definiert und schwer zu schätzen sein können, stören wir die Daten mit verschiedenen Stufen von Gauß'schem Rauschen und schätzen die entsprechenden Scores gemeinsam, d.h. die Vektorfelder der Gradienten der gestörten Datenverteilung für alle Rauschstufen. Für das Sampling schlagen wir eine abgekühlte Langevin-Dynamik (annealed Langevin dynamics) vor, bei der wir während des Sampling-Prozesses Gradienten mit allmählich abnehmenden Rauschstufen verwenden, je näher dieser Prozess der Datenmannigfaltigkeit kommt. Unser Rahmen ermöglicht flexible Modellarchitekturen, erfordert kein Sampling während des Trainings oder den Einsatz von adversären Methoden und bietet ein Lernziel, das für fundierte Modellvergleiche verwendet werden kann. Unsere Modelle erzeugen Stichproben, die sich den von GANs auf den Datensätzen MNIST, CelebA und CIFAR-10 vergleichbar erweisen, wobei sie einen neuen Stand der Technik in Form eines Inception-Scores von 8,87 auf CIFAR-10 erreichen. Zudem zeigen wir, dass unsere Modelle effektive Repräsentationen lernen, indem wir Image-Inpainting-Experimente durchführen.