HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage contrastif paramétrique généralisé

Jiequan Cui Zhisheng Zhong Zhuotao Tian Shu Liu Bei Yu Jiaya Jia

Résumé

Dans cet article, nous proposons une méthode appelée apprentissage contrastif paramétrique généralisé (GPaCo/PaCo), qui se comporte efficacement aussi bien sur des données équilibrées que déséquilibrées. À partir d'une analyse théorique, nous observons que la perte contrastive supervisée a tendance à favoriser les classes à haute fréquence, ce qui augmente la difficulté de l'apprentissage en situation de déséquilibre. Pour remédier à cela, nous introduisons un ensemble de centres apprenables par classe, permettant une rééquilibration depuis une perspective d'optimisation. Par la suite, nous analysons la perte GPaCo/PaCo dans un cadre équilibré. Notre analyse démontre que GPaCo/PaCo peut adapter de manière dynamique l'intensité de l'attraction des échantillons d'une même classe vers leur centre correspondant, au fur et à mesure que les échantillons sont rapprochés de leurs centres, ce qui favorise l'apprentissage des exemples difficiles. Des expériences sur des benchmarks à queue longue montrent que notre méthode atteint un nouveau état de l'art pour la reconnaissance en situation de déséquilibre. Sur ImageNet complet, les modèles entraînés avec la perte GPaCo — que ce soit des réseaux de neurones convolutifs (CNN) ou des transformateurs visuels — présentent une meilleure généralisation et une robustesse supérieure par rapport aux modèles MAE. En outre, GPaCo peut être appliqué à la tâche de segmentation sémantique, où des améliorations significatives sont observées sur les quatre benchmarks les plus populaires. Le code source est disponible à l'adresse suivante : https://github.com/dvlab-research/Parametric-Contrastive-Learning.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp