Flusskontrastive Schätzung von energiebasierten Modellen

Diese Arbeit untersucht eine Trainingsmethode zur gemeinsamen Schätzung eines energiebasierten Modells und eines Fluss-basierten Modells, bei der die beiden Modelle iterativ anhand einer gemeinsamen adversarialen Wertfunktion aktualisiert werden. Diese gemeinsame Trainingsstrategie weist folgende Eigenschaften auf: (1) Die Aktualisierung des energiebasierten Modells basiert auf der Noise Contrastive Estimation, wobei das Flussmodell als starke Rauschverteilung dient. (2) Die Aktualisierung des Flussmodells approximiert die Minimierung der Jensen-Shannon-Divergenz zwischen dem Flussmodell und der Datenverteilung. (3) Im Gegensatz zu generativen adversarialen Netzwerken (GANs), die eine implizite Wahrscheinlichkeitsverteilung, die durch ein Generatormodell definiert ist, schätzen, schätzt unsere Methode zwei explizite Wahrscheinlichkeitsverteilungen auf den Daten. Mit der vorgeschlagenen Methode zeigen wir eine signifikante Verbesserung der Synthesqualität des Flussmodells und belegen die Wirksamkeit der unsupervisierten Merkmalslernung durch das gelernte energiebasierte Modell. Darüber hinaus lässt sich die vorgeschlagene Trainingsmethode problemlos auf semi-supervised Learning adaptieren. Wir erreichen Ergebnisse, die mit den besten bisherigen Methoden im Bereich des semi-supervised Learning konkurrieren.