Minage contrastif siamois rééquilibré pour la reconnaissance à longue queue

Les réseaux de neurones profonds se comportent mal sur des jeux de données fortement déséquilibrés en classes. Étant donné les performances prometteuses de l’apprentissage contrastif, nous proposons Rebalanced Siamese Contrastive Mining (ResCom) afin de traiter la reconnaissance dans un cadre déséquilibré. Sur la base d’une analyse mathématique et de résultats de simulation, nous affirmons que l’apprentissage contrastif supervisé souffre d’un problème double d’imbalancement de classes, tant au niveau du lot d’origine que du lot Siamese, problème plus sévère que celui rencontré dans l’apprentissage de classification à queue longue. Dans cet article, au niveau du lot d’origine, nous introduisons une perte contrastive supervisée équilibrée par classe, permettant d’attribuer des poids adaptatifs aux différentes classes. Au niveau du lot Siamese, nous proposons une file d’attente équilibrée par classe, qui maintient un nombre identique de clés pour chaque classe. Par ailleurs, nous observons que le gradient de la perte contrastive déséquilibrée par rapport aux logits contrastifs peut être décomposé en contributions positives et négatives, et que les paires positives ou négatives faciles entraînent une disparition du gradient contrastif. Ainsi, nous proposons une stratégie d’extraction supervisée de paires dures positives et négatives afin de sélectionner des paires informatives pour le calcul contrastif et améliorer l’apprentissage des représentations. Enfin, pour approximer la maximisation de l’information mutuelle entre les deux vues, nous introduisons le Softmax équilibré Siamese, que nous intégrons conjointement à la perte contrastive pour une formation en une seule étape. Des expérimentations étendues montrent que ResCom surpassent largement les méthodes précédentes sur plusieurs benchmarks de reconnaissance à queue longue. Notre code et nos modèles sont rendus disponibles publiquement à l’adresse suivante : https://github.com/dvlab-research/ResCom.