Lernen, Stichproben zu ziehen: Mit Anwendung auf amortisierte MLE für generatives adversariales Lernen

Wir schlagen einen einfachen Algorithmus vor, um stochastische Neuronale Netze zu trainieren, die Proben aus gegebenen Zielverteilungen für probabilistische Inferenz ziehen können. Unser Verfahren basiert auf der iterativen Anpassung der Netzparameterso, dass die Ausgabe entlang eines Stein-variationellen Gradienten verändert wird, der die Kullback-Leibler-Divergenz zur Zielverteilung maximal verringert. Unsere Methode funktioniert für jede durch ihre unnormalisierte Dichtefunktion spezifizierte Zielverteilung und kann jedes black-box-Architektur trainieren, das in Bezug auf die zu anpassenden Parameter differenzierbar ist. Als Anwendung unserer Methode schlagen wir einen amortisierten Maximum-Likelihood-Schätzer (MLE) Algorithmus für das Training von tiefen Energiemodellen vor, bei dem ein neuronaler Sampler adaptiv trainiert wird, um die Likelihood-Funktion zu approximieren. Unsere Methode imitiert ein adversariales Spiel zwischen dem tiefen Energiemodell und dem neuronalen Sampler und erzielt realitätsnahe Bilder, die mit den besten aktuellen Ergebnissen konkurrieren können.