HyperAIHyperAI

Command Palette

Search for a command to run...

Flusskontrastive Schätzung von energiebasierten Modellen

Ruiqi Gao Erik Nijkamp Diederik P. Kingma Zhen Xu Andrew M. Dai Ying Nian Wu

Zusammenfassung

Diese Arbeit untersucht eine Trainingsmethode zur gemeinsamen Schätzung eines energiebasierten Modells und eines Fluss-basierten Modells, bei der die beiden Modelle iterativ anhand einer gemeinsamen adversarialen Wertfunktion aktualisiert werden. Diese gemeinsame Trainingsstrategie weist folgende Eigenschaften auf: (1) Die Aktualisierung des energiebasierten Modells basiert auf der Noise Contrastive Estimation, wobei das Flussmodell als starke Rauschverteilung dient. (2) Die Aktualisierung des Flussmodells approximiert die Minimierung der Jensen-Shannon-Divergenz zwischen dem Flussmodell und der Datenverteilung. (3) Im Gegensatz zu generativen adversarialen Netzwerken (GANs), die eine implizite Wahrscheinlichkeitsverteilung, die durch ein Generatormodell definiert ist, schätzen, schätzt unsere Methode zwei explizite Wahrscheinlichkeitsverteilungen auf den Daten. Mit der vorgeschlagenen Methode zeigen wir eine signifikante Verbesserung der Synthesqualität des Flussmodells und belegen die Wirksamkeit der unsupervisierten Merkmalslernung durch das gelernte energiebasierte Modell. Darüber hinaus lässt sich die vorgeschlagene Trainingsmethode problemlos auf semi-supervised Learning adaptieren. Wir erreichen Ergebnisse, die mit den besten bisherigen Methoden im Bereich des semi-supervised Learning konkurrieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp