HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage contrastif paramétrique

Jiequan Cui Zhisheng Zhong Shu Liu Bei Yu Jiaya Jia

Résumé

Dans cet article, nous proposons un apprentissage contrastif paramétrique (PaCo) afin de traiter la reconnaissance en situation de distribution longue-taille. Sur la base d'une analyse théorique, nous observons que la perte contrastive supervisée a tendance à favoriser les classes à haute fréquence, ce qui augmente la difficulté de l'apprentissage déséquilibré. Pour remédier à cela, nous introduisons un ensemble de centres apprenables par classe, paramétriques, afin de rééquilibrer la tâche du point de vue de l'optimisation. Par la suite, nous analysons la perte PaCo dans un cadre équilibré. Notre analyse démontre que PaCo peut adapter de manière dynamique l'intensité de l'attraction des échantillons d'une même classe vers leur centre correspondant, au fur et à mesure que davantage d'échantillons sont rapprochés de ces centres, ce qui favorise particulièrement l'apprentissage des exemples difficiles. Des expériences sur les jeux de données CIFAR, ImageNet, Places et iNaturalist 2018 à distribution longue-taille montrent que notre méthode atteint un nouveau record d'état de l'art pour la reconnaissance en situation déséquilibrée. Sur ImageNet complet, les modèles entraînés avec la perte PaCo surpassent l'apprentissage contrastif supervisé sur diverses architectures ResNet, par exemple, notre modèle ResNet-200 atteint une précision top-1 de 81,8 %. Le code source est disponible à l'adresse suivante : https://github.com/dvlab-research/Parametric-Contrastive-Learning.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp