Hilfs-Diep-Generativ-Modelle

Tiefen generative Modelle, die durch neuronale Netzwerke parametrisiert sind, haben in jüngster Zeit eine state-of-the-art-Leistung in unüberwachtem und halbüberwachtem Lernen erreicht. Wir erweitern tiefe generative Modelle um Hilfsvariablen, was die Variationsapproximation verbessert. Die Hilfsvariablen lassen das generative Modell unverändert, machen jedoch die Variationsverteilung ausdrucksstärker. Inspiriert durch die Struktur der Hilfsvariablen schlagen wir zudem ein Modell mit zwei stochastischen Schichten und Sprungverbindungen (skip connections) vor. Unsere Ergebnisse deuten darauf hin, dass ausdrucksstärkere und angemessen spezifizierte tiefe generative Modelle schneller konvergieren und bessere Ergebnisse liefern. Wir zeigen state-of-the-art-Leistung im halbüberwachten Lernen auf den Datensätzen MNIST, SVHN und NORB.