Apprentissage de la fusion de caractéristiques pour la réidentification de personnes avec adaptation de domaine non supervisée

L’identification de personnes par adaptation de domaine non supervisée (UDA) a suscité un intérêt croissant en raison de son efficacité sur le domaine cible sans nécessiter d’étiquetages manuels. La plupart des méthodes UDA pour l’identification de personnes basées sur le fine-tuning se concentrent sur l’extraction de caractéristiques globales afin de générer des pseudo-étiquettes, tout en négligeant les caractéristiques locales qui pourraient fournir des informations fines. Pour surmonter ce problème, nous proposons un cadre d’apprentissage de fusion de caractéristiques (LF2) permettant d’apprendre de manière adaptative la fusion entre caractéristiques globales et locales afin d’obtenir une représentation de caractéristiques fusionnées plus complète. Plus précisément, nous pré-entraînons tout d’abord notre modèle sur un domaine source, puis nous affinons le modèle sur le domaine cible non étiqueté en utilisant une stratégie d’apprentissage enseignant-étudiant. Le réseau enseignant, doté d’un poids moyen, est conçu pour encoder les caractéristiques globales, tandis que le réseau étudiant, mis à jour à chaque itération, est chargé d’extraire les caractéristiques locales fines. En fusionnant ces caractéristiques multi-vues, une clustering multi-niveaux est appliquée pour générer des pseudo-étiquettes diversifiées. En particulier, nous introduisons un module de fusion apprenable (FM) permettant de mettre en valeur les informations fines locales présentes dans les caractéristiques globales, afin d’éviter une apprentissage flou ou ambigu des multiples pseudo-étiquettes. Les expériences montrent que notre cadre LF2 dépasse les méthodes de pointe, atteignant 73,5 % de mAP et 83,7 % de Rank1 sur la transition Market1501 vers DukeMTMC-ReID, et atteignant 83,2 % de mAP et 92,8 % de Rank1 sur la transition DukeMTMC-ReID vers Market1501.