Cloner des tenues à partir d'images du monde réel vers des personnages 3D pour une réidentification de personnes généralisable
Récemment, des jeux de données synthétiques à grande échelle ont montré leur utilité pour l'identification réidentifiable des personnes. Cependant, les personnes synthétisées dans les jeux de données existants sont principalement de type dessin animé et portent des tenues aléatoires, ce qui limite leurs performances. Pour remédier à cela, cette étude propose une approche automatique permettant de cloner directement les tenues complètes d'images de personnes réelles vers des personnages virtuels 3D, afin que tout personnage virtuel ainsi créé ressemble très fortement à son homologue du monde réel.Plus précisément, deux méthodes de clonage sont conçues sur la base du mappage texturé UV : le mappage enregistré (registered clothes mapping) et l'expansion homogène (homogeneous cloth expansion). À partir des points clés des vêtements détectés sur les images de personnes et étiquetés sur des cartes UV régulières avec des structures vestimentaires claires, le mappage enregistré applique une homographie perspective pour déformer les vêtements du monde réel vers leurs homologues sur la carte UV. Quant aux parties invisibles des vêtements et aux cartes UV irrégulières, l'expansion homogène segmente une zone homogène sur les vêtements comme un motif ou une cellule réaliste, puis étend cette cellule pour remplir la carte UV.De plus, une stratégie d'expansion similitude-diversité est proposée. Cette stratégie consiste à regrouper les images de personnes par clustering, à échantillonner des images par cluster et à cloner les tenues pour la génération de personnages 3D. Ainsi, les personnages virtuels peuvent être augmentés en nombre tout en préservant une forte similarité visuelle pour défier l'apprentissage du modèle, tout en étant diversifiés au sein de la population pour enrichir la distribution des échantillons.Enfin, en rendant les personnages clonés dans des scènes Unity3D, un jeu de données virtuel plus réaliste appelé ClonedPerson est créé, comprenant 5 621 identités et 887 766 images. Les résultats expérimentaux montrent que le modèle formé sur ClonedPerson présente une meilleure performance généralisable, surpassant celle formée sur d'autres jeux de données populaires d'identification réidentifiable des personnes, tant réels que synthétiques. Le projet ClonedPerson est disponible à l'adresse suivante : https://github.com/Yanan-Wang-cs/ClonedPerson.