Apprentissage contrastif à doubles clusters pour la ré-identification d'objets

Récemment, l’apprentissage contrastif par regroupement (cluster contrastive learning) s’est avéré efficace pour la tâche de ReID d’objets en calculant la perte contrastive entre les caractéristiques individuelles et la mémoire des regroupements. Toutefois, les méthodes existantes qui utilisent les caractéristiques individuelles pour mettre à jour de manière momentum la mémoire des regroupements présentent des fluctuations importantes au cours de l’entraînement, en particulier pour les échantillons atypiques (outliers). Contrairement au mécanisme de mise à jour basé sur les individus, le mécanisme de mise à jour basé sur les centroïdes, qui utilise la caractéristique moyenne de chaque regroupement pour mettre à jour la mémoire correspondante, permet de réduire l’impact des échantillons individuels. Ainsi, nous formulons les deux mécanismes — basé sur les individus et basé sur les centroïdes — dans un cadre unifié d’apprentissage contrastif par regroupement, nommé DCC (Dual Cluster Contrastive framework), qui maintient deux types de banques de mémoire : une banque de mémoire des regroupements individuels et une banque de mémoire des regroupements centroïdes. Notons que la mémoire des regroupements individuels ne considère qu’un seul échantillon à la fois, effectuant une mise à jour en une seule étape. En revanche, la mémoire des regroupements centroïdes utilise la caractéristique moyenne de chaque regroupement pour mettre à jour la mémoire correspondante. Lors de l’optimisation, outre la perte contrastive classique associée à chaque mémoire, une contrainte de cohérence entre vues est appliquée afin d’échanger les avantages des deux mémoires et ainsi générer une description discriminante pour la tâche de ReID d’objets. Il est à noter que DCC peut être facilement appliqué à la fois à la ReID d’objets supervisée ou non supervisée, en utilisant soit des étiquettes de vérité terrain, soit des pseudo-étiquettes générées automatiquement. Des expériences étendues sur trois benchmarks — notamment Market-1501, MSMT17 et VeRi-776 — dans les scénarios de ReID d’objets supervisée et de ReID d’objets non supervisée, démontrent de manière significative l’efficacité supérieure du cadre proposé DCC.