Ein kontrastiver Lernansatz zur Schulung von Variationalen Autoencoder-Prior-Modellen

Variational Autoencoder (VAEs) sind eine der leistungsfähigen, wahrscheinlichkeitsbasierten generativen Modelle mit Anwendungen in vielen Domänen. Dennoch erweisen sie sich bei der Generierung hochwertiger Bilder als problematisch, insbesondere wenn Proben aus der Prior ohne jegliche Anpassung (Tempering) entnommen werden. Eine Erklärung für die schlechte generative Qualität von VAEs ist das sogenannte „Prior-Hole-Problem“: Die Prior-Verteilung stimmt nicht mit der aggregierten approximativen Posterior überein. Aufgrund dieses Missverhältnisses existieren Bereiche im latenten Raum, die eine hohe Dichte unter der Prior aufweisen, jedoch keiner kodierten Bildrepräsentation entsprechen. Proben aus diesen Regionen werden bei der Dekodierung zu verfälschten Bildern entzerrt. Um dieses Problem anzugehen, schlagen wir eine energiebasierte Prior vor, die durch das Produkt einer Basis-Prior-Verteilung und eines Umgewichtungsfaktors definiert ist. Dieser Faktor ist darauf ausgelegt, die Basis-Prior der aggregierten Posterior näherzubringen. Wir trainieren den Umgewichtungsfaktor mittels Noise Contrastive Estimation (NCE) und verallgemeinern das Verfahren auf hierarchische VAEs mit mehreren latenten Variablen-Gruppen. Unsere Experimente bestätigen, dass die vorgeschlagenen NCE-basierten Priors die generative Leistung state-of-the-art VAEs auf den Datensätzen MNIST, CIFAR-10, CelebA 64 und CelebA HQ 256 erheblich verbessern. Unser Ansatz ist einfach und lässt sich auf eine Vielzahl von VAEs anwenden, um die Ausdruckskraft ihrer Prior-Verteilung zu erhöhen.