Libérer le potentiel des modèles de diffusion pré-entraînés pour une identification de personnes généralisable

Le réidentification généralisable (DG Re-ID) vise à entraîner un modèle sur un ou plusieurs domaines sources et à évaluer sa performance sur des domaines cibles non vus, une tâche qui suscite un intérêt croissant en raison de son importance pratique. Bien que de nombreuses méthodes aient été proposées, la plupart reposent sur des cadres d’apprentissage discriminatif ou contrastif pour apprendre des représentations de caractéristiques généralisables. Toutefois, ces approches peinent souvent à atténuer l’apprentissage par raccourci, entraînant des performances sous-optimales. Dans ce travail, nous proposons une nouvelle méthode appelée apprentissage de représentation assisté par modèle de diffusion avec un schéma de conditionnement conscient des corrélations (DCAC), visant à améliorer le DG Re-ID. Notre méthode intègre un modèle de réidentification discriminatif et contrastif avec un modèle de diffusion préentraîné via un schéma de conditionnement conscient des corrélations. En combinant les probabilités de classification d’identité issues du modèle de réidentification avec un ensemble de prompts apprenables par identité, ce schéma de conditionnement injecte un savoir obscur capturant les corrélations entre identités afin de guider le processus de diffusion. Parallèlement, les retours provenant du modèle de diffusion sont rétropropagés à travers le schéma de conditionnement jusqu’au modèle de réidentification, améliorant efficacement la capacité de généralisation des caractéristiques de réidentification. Des expériences étendues sur des tâches DG Re-ID à source unique et à sources multiples démontrent que notre méthode atteint des performances de pointe. Des études d’ablation complètes confirment également l’efficacité de l’approche proposée, offrant des perspectives sur sa robustesse. Le code sera disponible à l’adresse suivante : https://github.com/RikoLi/DCAC.