HyperAIHyperAI

Command Palette

Search for a command to run...

Avec un peu d’aide de mes amis : apprentissage contrastif par plus proches voisins des représentations visuelles

Debidatta Dwibedi Yusuf Aytar Jonathan Tompson Pierre Sermanet Andrew Zisserman

Résumé

Les algorithmes d'apprentissage auto-supervisé fondés sur la discrimination d'instances entraînent les encodeurs à être invariants face à des transformations prédéfinies appliquées à la même instance. Alors que la plupart des méthodes considèrent différentes vues de la même image comme des exemples positifs dans une perte contrastive, nous nous intéressons à utiliser des exemples positifs provenant d'autres instances du jeu de données. Notre méthode, appelée Nearest-Neighbor Contrastive Learning of visual Representations (NNCLR), échantillonne les voisins les plus proches dans l'espace latent du jeu de données, et les traite comme des positifs. Cela permet d'obtenir une variation sémantique plus riche que les transformations prédéfinies.Nous constatons que l'utilisation des voisins les plus proches comme exemples positifs dans les pertes contrastives améliore significativement les performances sur la classification ImageNet, passant de 71,7 % à 75,6 %, surpassant ainsi les méthodes de pointe précédentes. Sur les benchmarks d'apprentissage semi-supervisé, nous observons une amélioration notable lorsque seuls 1 % des étiquettes ImageNet sont disponibles, passant de 53,8 % à 56,5 %. Sur les benchmarks d'apprentissage transféré, notre méthode dépasse les méthodes de pointe (y compris l'apprentissage supervisé sur ImageNet) sur 8 des 12 jeux de données de tâches downstream. En outre, nous démontrons empiriquement que notre méthode est moins dépendante des augmentations de données complexes. Nous observons une diminution relative de seulement 2,1 % de la précision Top-1 ImageNet lorsqu'on entraîne uniquement avec des coupes aléatoires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp