Apprentissage contrastif paramétrique généralisé

Dans cet article, nous proposons une méthode appelée apprentissage contrastif paramétrique généralisé (GPaCo/PaCo), qui se comporte efficacement aussi bien sur des données équilibrées que déséquilibrées. À partir d'une analyse théorique, nous observons que la perte contrastive supervisée a tendance à favoriser les classes à haute fréquence, ce qui augmente la difficulté de l'apprentissage en situation de déséquilibre. Pour remédier à cela, nous introduisons un ensemble de centres apprenables par classe, permettant une rééquilibration depuis une perspective d'optimisation. Par la suite, nous analysons la perte GPaCo/PaCo dans un cadre équilibré. Notre analyse démontre que GPaCo/PaCo peut adapter de manière dynamique l'intensité de l'attraction des échantillons d'une même classe vers leur centre correspondant, au fur et à mesure que les échantillons sont rapprochés de leurs centres, ce qui favorise l'apprentissage des exemples difficiles. Des expériences sur des benchmarks à queue longue montrent que notre méthode atteint un nouveau état de l'art pour la reconnaissance en situation de déséquilibre. Sur ImageNet complet, les modèles entraînés avec la perte GPaCo — que ce soit des réseaux de neurones convolutifs (CNN) ou des transformateurs visuels — présentent une meilleure généralisation et une robustesse supérieure par rapport aux modèles MAE. En outre, GPaCo peut être appliqué à la tâche de segmentation sémantique, où des améliorations significatives sont observées sur les quatre benchmarks les plus populaires. Le code source est disponible à l'adresse suivante : https://github.com/dvlab-research/Parametric-Contrastive-Learning.