Meta-GMVAE: Mischung aus Gaussischen VAEs für unsupervisiertes Meta-Lernen

Unüberwachtes Lernen zielt darauf ab, sinnvolle Darstellungen aus unbeschrifteten Daten zu lernen, die deren inhärente Struktur erfassen und anschließend auf nachgeschaltete Aufgaben übertragbar sind. Meta-Lernen verfolgt das Ziel, zu generalisieren, indem es lernt, sich schnell auf neue Aufgaben einzustellen, wodurch das gelernte Modell eine rasche Anpassung an neue Aufgaben ermöglicht. Ähnlich wie beim unüberwachten Lernen strebt auch das Meta-Lernen nach effektiveren und effizienteren Lernverfahren im Vergleich zum Lernen von Grund auf neu. Der wesentliche Unterschied liegt darin, dass die meisten Meta-Lernansätze überwacht sind und eine vollständige Zugänglichkeit zu den Labels voraussetzen. Die Erzeugung beschrifteter Datensätze für das Meta-Training ist jedoch nicht nur kostspielig, da menschliche Aufwände zur Beschriftung erforderlich sind, sondern begrenzt auch die Anwendbarkeit auf vordefinierte Aufgabendistributionen. In diesem Paper stellen wir ein konsistentes, unüberwachtes Meta-Lernmodell namens Meta-GMVAE vor, das auf einem Variationalen Autoencoder (VAE) und einer mengenbasierten variationalen Inferenz basiert. Darüber hinaus führen wir eine Mischung aus Gauß-Verteilungen (GMM) als Prior ein, wobei angenommen wird, dass jede Modalität jeweils einen Klassenbegriff in einer zufällig ausgewählten Episode repräsentiert, welcher mittels Expectation-Maximization (EM) optimiert wird. Anschließend kann das gelernte Modell für nachgeschaltete Few-Shot-Klassifikationsaufgaben eingesetzt werden, wobei wir auf den latente Darstellungen der Support- und Query-Mengen eine semi-überwachte EM-Optimierung durchführen, um aufgabenbezogene Parameter zu ermitteln, und die Labels der Query-Menge durch Berechnung aggregierter Posteriors vorhersagen. Wir validieren unser Modell anhand der Datensätze Omniglot und Mini-ImageNet, indem wir die Leistungsfähigkeit in Bezug auf nachgeschaltete Few-Shot-Klassifikationsaufgaben evaluieren. Die Ergebnisse zeigen, dass unser Modell beachtliche Leistungssteigerungen gegenüber bestehenden unüberwachten Meta-Lern-Baselines erzielt und sogar in bestimmten Einstellungen über das überwachte MAML-Verfahren hinausgeht.