Unüberwachtes Lernen durch Meta-Lernen

Ein zentrales Ziel des unüberwachten Lernens ist es, Darstellungen aus nicht gekennzeichneten Daten oder Erfahrungen zu erwerben, die für das effektivere Lernen nachgeschalteter Aufgaben mit moderaten Mengen an gekennzeichneten Daten verwendet werden können. Viele frühere Arbeiten im Bereich des unüberwachten Lernens strebten dies durch die Entwicklung von Proxy-Zielfunktionen an, die auf Rekonstruktion, Entflechtung (Disentanglement), Vorhersage und anderen Metriken basieren. Stattdessen entwickeln wir eine Methode des unüberwachten Meta-Lernens, die explizit die Fähigkeit optimiert, eine Vielzahl von Aufgaben aus kleinen Datenmengen zu lernen. Dazu konstruieren wir Aufgaben auf automatisierte Weise aus nicht gekennzeichneten Daten und führen Meta-Lernen über die konstruierten Aufgaben durch. Überraschenderweise stellen wir fest, dass relativ einfache Aufgabenkonstruktionsmechanismen wie das Clustern von Einbettungen (Embeddings) bei der Integration mit Meta-Lernen zu guten Leistungen bei einer Vielzahl von nachgeschalteten, menschlich spezifizierten Aufgaben führen. Unsere Experimente mit vier Bild-Datensätzen zeigen, dass unser Ansatz des unüberwachten Meta-Lernens einen Lernalgorithmus ohne irgendeine gekennzeichnete Daten erlernt, der auf einem breiten Spektrum von nachgeschalteten Klassifikationsaufgaben anwendbar ist und dabei die durch vier frühere Methoden des unüberwachten Lernens erlernten Einbettungen verbessert.