HyperAIHyperAI

Command Palette

Search for a command to run...

Verhindern des Posterior-Collapses mit delta-VAEs

Ali Razavi Aaron van den Oord Ben Poole Oriol Vinyals

Zusammenfassung

Aufgrund des Phänomens der „Posteriorschwund“ (posterior collapse) stellen aktuelle latente Variablen-Generatormodelle eine herausfordernde Designentscheidung dar, die entweder die Kapazität des Decoders verringert oder das Ziel erweitert, sodass nicht nur die Wahrscheinlichkeit der Daten maximiert wird. In dieser Arbeit schlagen wir eine Alternative vor, die die leistungsfähigsten Generatormodelle als Decoder einsetzt und gleichzeitig die variationale untere Schranke optimiert, während sichergestellt wird, dass die latenten Variablen nützliche Informationen beibehalten und kodieren. Unsere vorgeschlagenen δδδ-VAEs erreichen dies, indem sie die variationale Familie für den Posterior einschränken, sodass dieser einen minimalen Abstand zum Prior aufweist. Für sequentielle latente Variablenmodelle ähnelt unser Ansatz dem klassischen Repräsentationslernverfahren der langsamen Merkmalsanalyse (slow feature analysis). Wir demonstrieren die Effektivität unseres Ansatzes anhand von Textmodellen auf LM1B und Bildmodellen: Lernen von Repräsentationen, Verbesserung der Sample-Qualität sowie Erreichen des aktuellen Standarts in Bezug auf Log-Likelihood auf CIFAR-10 und ImageNet 32×3232\times 3232×32.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp