HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Kontrastives prototypisches Netzwerk mit Wasserstein-Vertrauensstrafe

{Zhi-Hong Deng Haoqing Wang}

Kontrastives prototypisches Netzwerk mit Wasserstein-Vertrauensstrafe

Abstract

Unsupervised Few-Shot-Lernen zielt darauf ab, die induktive Voreingenommenheit aus einem unbeschrifteten Datensatz zu lernen, um neue Few-Shot-Aufgaben zu lösen. Die bestehenden Modelle für unsupervised Few-Shot-Lernen und Kontrastive-Lern-Modelle folgen einem einheitlichen Paradigma. Daher führen wir eine empirische Studie innerhalb dieses Paradigmas durch und stellen fest, dass Paarweiser Kontrast, Meta-Verluste und eine große Batch-Größe wichtige Gestaltungsfaktoren darstellen. Daraus ergibt sich unser CPN-Modell (Contrastive Prototypical Network), das den prototypischen Verlust mit paarenweisem Kontrast kombiniert und die bestehenden Modelle innerhalb dieses Paradigmas bei vergleichsweise großer, aber moderater Batch-Größe übertrifft. Zudem kann das one-hot-Vorhersageziel im CPN dazu führen, dass informationsreiche, exemplarische Merkmale gelernt werden. Um dies zu beheben, schlagen wir den Wasserstein-Confidence-Penalty (WCP) vor, der übermäßige Selbstsicherheit bei Vorhersagen basierend auf den semantischen Beziehungen zwischen Pseudoklassen angemessen bestraft. Unser vollständiges Modell, CPNWCP (Contrastive Prototypical Network with Wasserstein Confidence Penalty), erreicht im unsupervised-Setting state-of-the-art-Leistung auf miniImageNet und tieredImageNet. Unser Code ist unter https://github.com/Haoqing-Wang/CPNWCP verfügbar.

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Kontrastives prototypisches Netzwerk mit Wasserstein-Vertrauensstrafe | Forschungsarbeiten | HyperAI