HyperAIHyperAI

Command Palette

Search for a command to run...

Ein kontrastiver Lernansatz zur Schulung von Variationalen Autoencoder-Prior-Modellen

Jyoti Aneja Alexander Schwing Jan Kautz Arash Vahdat

Zusammenfassung

Variational Autoencoder (VAEs) sind eine der leistungsfähigen, wahrscheinlichkeitsbasierten generativen Modelle mit Anwendungen in vielen Domänen. Dennoch erweisen sie sich bei der Generierung hochwertiger Bilder als problematisch, insbesondere wenn Proben aus der Prior ohne jegliche Anpassung (Tempering) entnommen werden. Eine Erklärung für die schlechte generative Qualität von VAEs ist das sogenannte „Prior-Hole-Problem“: Die Prior-Verteilung stimmt nicht mit der aggregierten approximativen Posterior überein. Aufgrund dieses Missverhältnisses existieren Bereiche im latenten Raum, die eine hohe Dichte unter der Prior aufweisen, jedoch keiner kodierten Bildrepräsentation entsprechen. Proben aus diesen Regionen werden bei der Dekodierung zu verfälschten Bildern entzerrt. Um dieses Problem anzugehen, schlagen wir eine energiebasierte Prior vor, die durch das Produkt einer Basis-Prior-Verteilung und eines Umgewichtungsfaktors definiert ist. Dieser Faktor ist darauf ausgelegt, die Basis-Prior der aggregierten Posterior näherzubringen. Wir trainieren den Umgewichtungsfaktor mittels Noise Contrastive Estimation (NCE) und verallgemeinern das Verfahren auf hierarchische VAEs mit mehreren latenten Variablen-Gruppen. Unsere Experimente bestätigen, dass die vorgeschlagenen NCE-basierten Priors die generative Leistung state-of-the-art VAEs auf den Datensätzen MNIST, CIFAR-10, CelebA 64 und CelebA HQ 256 erheblich verbessern. Unser Ansatz ist einfach und lässt sich auf eine Vielzahl von VAEs anwenden, um die Ausdruckskraft ihrer Prior-Verteilung zu erhöhen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp