HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Apprentissage généralisé zéro-et peu de données par auto-encodeurs variationnels alignés

{ Zeynep Akata Trevor Darrell Samarth Sinha Sayna Ebrahimi Edgar Schonfeld}

Apprentissage généralisé zéro-et peu de données par auto-encodeurs variationnels alignés

Résumé

De nombreuses approches dans le cadre de l’apprentissage zéro-shot généralisé reposent sur une correspondance entre l’espace des caractéristiques d’images et l’espace des embeddings de classes. Étant donné que les images étiquetées sont coûteuses à obtenir, une piste consiste à enrichir les jeux de données en générant soit des images, soit des caractéristiques d’images. Toutefois, la première approche néglige les détails fins, tandis que la seconde nécessite l’apprentissage d’une application liée aux embeddings de classes. Dans ce travail, nous allons plus loin dans la génération de caractéristiques en proposant un modèle qui apprend un espace latent partagé entre les caractéristiques d’images et les embeddings de classes à l’aide d’auto-encodeurs variationnels alignés spécifiques aux modalités. Cela nous permet de conserver les informations discriminantes essentielles relatives aux images et aux classes dans les caractéristiques latentes, sur lesquelles nous entraînons un classificateur softmax. Le point clé de notre approche réside dans l’alignement des distributions apprises à partir des images et des informations complémentaires afin de construire des caractéristiques latentes contenant les informations multimodales fondamentales associées aux classes inconnues. Nous évaluons nos caractéristiques latentes apprises sur plusieurs jeux de données standards — CUB, SUN, AWA1 et AWA2 — et établissons un nouveau record d’état de l’art pour l’apprentissage zéro-shot généralisé ainsi que pour l’apprentissage peu supervisé. En outre, nos résultats obtenus sur ImageNet avec diverses partitions zéro-shot montrent que nos caractéristiques latentes se généralisent efficacement dans des contextes à grande échelle.

Benchmarks

BenchmarkMéthodologieMétriques
generalized-few-shot-learning-on-awa2CA-VAE
Per-Class Accuracy (1-shot): 64.0
Per-Class Accuracy (10-shots): 79.0
Per-Class Accuracy (2-shots): 71.3
Per-Class Accuracy (5-shots): 76.6
generalized-few-shot-learning-on-awa2DA-VAE
Per-Class Accuracy (1-shot): 68.0
Per-Class Accuracy (10-shots): 76.8
Per-Class Accuracy (2-shots): 73.0
Per-Class Accuracy (5-shots): 75.6
generalized-few-shot-learning-on-cubCADA-VAE
Per-Class Accuracy (2-shots): 59.2
Per-Class Accuracy (1-shot): 55.2
Per-Class Accuracy (10-shots): 64.9
Per-Class Accuracy (20-shots): 66.0
Per-Class Accuracy (5-shots): 63.0
generalized-few-shot-learning-on-cubCA-VAE
Per-Class Accuracy (2-shots): 54.4
Per-Class Accuracy (1-shot): 50.6
Per-Class Accuracy (10-shots): 62.2
Per-Class Accuracy (5-shots): 59.6
generalized-few-shot-learning-on-cubDA-VAE
Per-Class Accuracy (2-shots): 54.6
Per-Class Accuracy (1-shot): 49.2
Per-Class Accuracy (10-shots): 60.8
Per-Class Accuracy (5-shots): 58.8
generalized-few-shot-learning-on-sunCADA-VAE
Per-Class Accuracy (1-shot): 37.8
Per-Class Accuracy (10-shots): 45.8
Per-Class Accuracy (2-shots): 41.4
Per-Class Accuracy (5-shots): 44.2
generalized-few-shot-learning-on-sunCA-VAE
Per-Class Accuracy (1-shot): 37.8
Per-Class Accuracy (10-shots): 45.1
Per-Class Accuracy (2-shots): 40.8
Per-Class Accuracy (5-shots): 43.6
generalized-few-shot-learning-on-sunDA-VAE
Per-Class Accuracy (1-shot): 40.6
Per-Class Accuracy (10-shots): 47.6
Per-Class Accuracy (2-shots): 43.0
Per-Class Accuracy (5-shots): 46.0
long-tail-learning-with-class-descriptors-onCADA-VAE
Long-Tailed Accuracy: 57.4
Per-Class Accuracy: 48.3
long-tail-learning-with-class-descriptors-on-1CADA-VAE
Long-Tailed Accuracy: 35.1
Per-Class Accuracy: 32.8
long-tail-learning-with-class-descriptors-on-2CADA-VAE
Long-Tailed Accuracy: 89.5
Per-Class Accuracy: 73.5
long-tail-learning-with-class-descriptors-on-3CADA-VAE
Per-Class Accuracy: 49.3

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage généralisé zéro-et peu de données par auto-encodeurs variationnels alignés | Articles de recherche | HyperAI