HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verallgemeinerte Null- und Few-Shot-Lernung mittels ausgerichteten variationalen Autoencoder

{ Zeynep Akata Trevor Darrell Samarth Sinha Sayna Ebrahimi Edgar Schonfeld}

Verallgemeinerte Null- und Few-Shot-Lernung mittels ausgerichteten variationalen Autoencoder

Abstract

Viele Ansätze im generalisierten Zero-Shot-Lernen beruhen auf einer cross-modalen Abbildung zwischen dem Bildmerkmalsraum und dem Klassen-Embedding-Raum. Da beschriftete Bilder kostspielig sind, zielt eine Richtung darauf ab, die Datensätze durch die Generierung von entweder Bildern oder Bildmerkmalen zu erweitern. Der erste Ansatz verliert jedoch feinere Details, während der zweite eine Abbildung erfordert, die mit den Klassen-Embeddings verknüpft ist. In dieser Arbeit gehen wir einen Schritt weiter bei der Merkmalsgenerierung und schlagen ein Modell vor, bei dem ein gemeinsamer latenter Raum aus Bildmerkmalen und Klassen-Embeddings mittels modality-spezifischer, ausgerichteter Variationaler Autoencoder (VAEs) gelernt wird. Dadurch verbleibt in den latenten Merkmalen die erforderliche diskriminative Information über Bilder und Klassen, auf der wir einen Softmax-Klassifikator trainieren. Der Schlüssel unseres Ansatzes liegt darin, die Verteilungen, die aus Bildern und aus Zusatzinformationen gelernt werden, auszurichten, um latente Merkmale zu konstruieren, die die wesentlichen multimodalen Informationen zu unerkannten Klassen enthalten. Wir evaluieren unsere gelernten latenten Merkmale auf mehreren Benchmark-Datensätzen, nämlich CUB, SUN, AWA1 und AWA2, und erreichen dabei einen neuen State-of-the-Art sowohl im generalisierten Zero-Shot-Lernen als auch im Few-Shot-Lernen. Zudem zeigen unsere Ergebnisse auf ImageNet unter verschiedenen Zero-Shot-Splits, dass unsere latenten Merkmale auch in großskaligen Szenarien gut generalisieren.

Benchmarks

BenchmarkMethodikMetriken
generalized-few-shot-learning-on-awa2CA-VAE
Per-Class Accuracy (1-shot): 64.0
Per-Class Accuracy (10-shots): 79.0
Per-Class Accuracy (2-shots): 71.3
Per-Class Accuracy (5-shots): 76.6
generalized-few-shot-learning-on-awa2DA-VAE
Per-Class Accuracy (1-shot): 68.0
Per-Class Accuracy (10-shots): 76.8
Per-Class Accuracy (2-shots): 73.0
Per-Class Accuracy (5-shots): 75.6
generalized-few-shot-learning-on-cubCADA-VAE
Per-Class Accuracy (2-shots): 59.2
Per-Class Accuracy (1-shot): 55.2
Per-Class Accuracy (10-shots): 64.9
Per-Class Accuracy (20-shots): 66.0
Per-Class Accuracy (5-shots): 63.0
generalized-few-shot-learning-on-cubCA-VAE
Per-Class Accuracy (2-shots): 54.4
Per-Class Accuracy (1-shot): 50.6
Per-Class Accuracy (10-shots): 62.2
Per-Class Accuracy (5-shots): 59.6
generalized-few-shot-learning-on-cubDA-VAE
Per-Class Accuracy (2-shots): 54.6
Per-Class Accuracy (1-shot): 49.2
Per-Class Accuracy (10-shots): 60.8
Per-Class Accuracy (5-shots): 58.8
generalized-few-shot-learning-on-sunCADA-VAE
Per-Class Accuracy (1-shot): 37.8
Per-Class Accuracy (10-shots): 45.8
Per-Class Accuracy (2-shots): 41.4
Per-Class Accuracy (5-shots): 44.2
generalized-few-shot-learning-on-sunCA-VAE
Per-Class Accuracy (1-shot): 37.8
Per-Class Accuracy (10-shots): 45.1
Per-Class Accuracy (2-shots): 40.8
Per-Class Accuracy (5-shots): 43.6
generalized-few-shot-learning-on-sunDA-VAE
Per-Class Accuracy (1-shot): 40.6
Per-Class Accuracy (10-shots): 47.6
Per-Class Accuracy (2-shots): 43.0
Per-Class Accuracy (5-shots): 46.0
long-tail-learning-with-class-descriptors-onCADA-VAE
Long-Tailed Accuracy: 57.4
Per-Class Accuracy: 48.3
long-tail-learning-with-class-descriptors-on-1CADA-VAE
Long-Tailed Accuracy: 35.1
Per-Class Accuracy: 32.8
long-tail-learning-with-class-descriptors-on-2CADA-VAE
Long-Tailed Accuracy: 89.5
Per-Class Accuracy: 73.5
long-tail-learning-with-class-descriptors-on-3CADA-VAE
Per-Class Accuracy: 49.3

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verallgemeinerte Null- und Few-Shot-Lernung mittels ausgerichteten variationalen Autoencoder | Forschungsarbeiten | HyperAI