Kontrastives prototypisches Netzwerk mit Wasserstein-Vertrauensstrafe
{Zhi-Hong Deng Haoqing Wang}

Abstract
Unsupervised Few-Shot-Lernen zielt darauf ab, die induktive Voreingenommenheit aus einem unbeschrifteten Datensatz zu lernen, um neue Few-Shot-Aufgaben zu lösen. Die bestehenden Modelle für unsupervised Few-Shot-Lernen und Kontrastive-Lern-Modelle folgen einem einheitlichen Paradigma. Daher führen wir eine empirische Studie innerhalb dieses Paradigmas durch und stellen fest, dass Paarweiser Kontrast, Meta-Verluste und eine große Batch-Größe wichtige Gestaltungsfaktoren darstellen. Daraus ergibt sich unser CPN-Modell (Contrastive Prototypical Network), das den prototypischen Verlust mit paarenweisem Kontrast kombiniert und die bestehenden Modelle innerhalb dieses Paradigmas bei vergleichsweise großer, aber moderater Batch-Größe übertrifft. Zudem kann das one-hot-Vorhersageziel im CPN dazu führen, dass informationsreiche, exemplarische Merkmale gelernt werden. Um dies zu beheben, schlagen wir den Wasserstein-Confidence-Penalty (WCP) vor, der übermäßige Selbstsicherheit bei Vorhersagen basierend auf den semantischen Beziehungen zwischen Pseudoklassen angemessen bestraft. Unser vollständiges Modell, CPNWCP (Contrastive Prototypical Network with Wasserstein Confidence Penalty), erreicht im unsupervised-Setting state-of-the-art-Leistung auf miniImageNet und tieredImageNet. Unser Code ist unter https://github.com/Haoqing-Wang/CPNWCP verfügbar.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| unsupervised-few-shot-image-classification-on | CPNWCP | Accuracy: 53.56 |
| unsupervised-few-shot-image-classification-on-1 | CPNWCP | Accuracy: 73.21 |
| unsupervised-few-shot-image-classification-on-2 | CPNWCP | Accuracy: 45.00 |
| unsupervised-few-shot-image-classification-on-3 | CPNWCP | Accuracy: 62.96 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.