Embedding-Propagation: Glattere Mannigfaltigkeit für Few-Shot-Klassifikation

Few-shot-Klassifikation ist herausfordernd, da die Datenausgangsverteilung des Trainingssets oft stark von der des Testsets abweichen kann, da deren Klassen disjunkt sind. Dieser Verteilungsverschiebung führt häufig zu einer schlechten Generalisierungsfähigkeit. Manifold-Smoothing hat sich als Ansatz zur Bewältigung des Verteilungsverschiebungsproblems erwiesen, indem die Entscheidungsgrenzen erweitert und die Rauschkomponente der Klassenrepräsentationen reduziert werden. Zudem ist Manifold-Smoothness ein zentraler Faktor für semi-supervised und transduktive Lernalgorithmen. In dieser Arbeit schlagen wir vor, die Embedding-Propagation als unsupervisiertes, nicht-parametrisches Regularisierungsverfahren für das Manifold-Smoothing in der Few-shot-Klassifikation einzusetzen. Die Embedding-Propagation nutzt Interpolationen zwischen den extrahierten Merkmalen eines neuronalen Netzwerks basierend auf einem Ähnlichkeitsgraphen. Wir zeigen empirisch, dass die Embedding-Propagation eine glattere Embedding-Manifold erzeugt. Zudem zeigen wir, dass die Anwendung der Embedding-Propagation auf einen transduktiven Klassifikator neue SOTA-Ergebnisse auf den Datensätzen mini-ImageNet, tiered-ImageNet, ImageNet-FS und CUB erreicht. Darüber hinaus demonstrieren wir, dass die Embedding-Propagation die Genauigkeit der Modelle in mehreren semi-supervised Lernszenarien konsequent um bis zu 16 Prozentpunkte verbessert. Die vorgeschlagene Embedding-Propagation-Operation kann problemlos als nicht-parametrisch Schicht in ein neuronales Netzwerk integriert werden. Den Trainingscode und Nutzungsmuster finden Sie unter https://github.com/ElementAI/embedding-propagation.