Tiefes unüberwachtes Clustering mit Gaußschen Mischungs-Variational Autoencodern

Wir untersuchen eine Variante des Variational Autoencoder-Modells (VAE), bei der eine Gaußsche Mischverteilung als Prior-Distribution verwendet wird, mit dem Ziel, unsupervisiertes Clustering durch tiefgreifende Generative Modelle durchzuführen. Wir beobachten, dass das bekannte Problem der Überregulierung, das in regulären VAEs aufgetreten ist, auch in unserem Modell auftaucht und zu einer Cluster-Degeneration führt. Wir zeigen, dass eine Heuristik namens Mindestinformationsbedingung (Minimum Information Constraint), die sich als Mittel zur Milderung dieses Effekts in VAEs erwiesen hat, auch angewendet werden kann, um die Leistung des unsupervisierten Clusters mit unserem Modell zu verbessern. Darüber hinaus analysieren wir den Einfluss dieser Heuristik und geben eine Intuition der verschiedenen Prozesse mithilfe von Visualisierungen. Schließlich demonstrieren wir die Leistungsfähigkeit unseres Modells anhand synthetischer Daten sowie der Datensätze MNIST und SVHN, wobei gezeigt wird, dass die erhaltenen Cluster klar voneinander getrennt sind, interpretierbar und wettbewerbsfähige Ergebnisse im Vergleich zum Stand der Technik im Bereich des unsupervisierten Clusterns erzielen.