Kontrastives prototypisches Netzwerk mit Wasserstein-Vertrauensstrafe

Unsupervised Few-Shot-Lernen zielt darauf ab, die induktive Voreingenommenheit aus einem unbeschrifteten Datensatz zu lernen, um neue Few-Shot-Aufgaben zu lösen. Die bestehenden Modelle für unsupervised Few-Shot-Lernen und Kontrastive-Lern-Modelle folgen einem einheitlichen Paradigma. Daher führen wir eine empirische Studie innerhalb dieses Paradigmas durch und stellen fest, dass Paarweiser Kontrast, Meta-Verluste und eine große Batch-Größe wichtige Gestaltungsfaktoren darstellen. Daraus ergibt sich unser CPN-Modell (Contrastive Prototypical Network), das den prototypischen Verlust mit paarenweisem Kontrast kombiniert und die bestehenden Modelle innerhalb dieses Paradigmas bei vergleichsweise großer, aber moderater Batch-Größe übertrifft. Zudem kann das one-hot-Vorhersageziel im CPN dazu führen, dass informationsreiche, exemplarische Merkmale gelernt werden. Um dies zu beheben, schlagen wir den Wasserstein-Confidence-Penalty (WCP) vor, der übermäßige Selbstsicherheit bei Vorhersagen basierend auf den semantischen Beziehungen zwischen Pseudoklassen angemessen bestraft. Unser vollständiges Modell, CPNWCP (Contrastive Prototypical Network with Wasserstein Confidence Penalty), erreicht im unsupervised-Setting state-of-the-art-Leistung auf miniImageNet und tieredImageNet. Unser Code ist unter https://github.com/Haoqing-Wang/CPNWCP verfügbar.