Apprentissage mutuel fine-grained forme-apparence pour la réidentification de personnes avec changement de vêtements

Récemment, la réidentification de personnes (Re-ID) a connu des progrès considérables. Toutefois, les méthodes actuelles dépendent largement de l’apparence colorée, ce qui se révèle peu fiable lorsque la personne change de vêtements. La réidentification en présence de changement de vêtements constitue un défi majeur, car les images de piétons avec des changements vestimentaires présentent une grande variation intra-classe et une faible variation inter-classe. Certains caractéristiques discriminantes essentielles pour l’identification sont dissimulées dans des différences subtiles de forme corporelle entre individus. Pour exploiter ces indices de forme corporelle dans le cadre de la réidentification face aux changements de vêtements, nous proposons un cadre d’apprentissage mutuel à haute granularité forme-apparence (FSAM), une architecture à deux flux qui apprend des connaissances discriminantes fines sur la forme corporelle dans un flux forme, puis les transfère vers un flux apparence afin de compléter les connaissances indépendantes du vêtement présentes dans les caractéristiques d’apparence. Plus précisément, dans le flux forme, FSAM apprend un masque discriminant à haute granularité grâce à une guidance par identité, et extrait des caractéristiques de forme corporelle fines à l’aide d’un réseau multi-branche spécifique à la posture. Pour compléter les connaissances sur la forme indépendante du vêtement dans le flux apparence, un apprentissage mutuel dense et interactif est réalisé entre les caractéristiques de bas niveau et de haut niveau, permettant ainsi le transfert de connaissances du flux forme vers le flux apparence. Ce mécanisme permet au flux apparence d’être déployé de manière autonome, sans surcharge computationnelle supplémentaire liée à l’estimation du masque. Nous avons évalué notre méthode sur des jeux de données standards dédiés à la réidentification en cas de changement de vêtements, et obtenu des performances de pointe dans la littérature.