Apprentissage de caractéristiques de forme 3D pour une identification de personne insensible aux textures

Il est largement reconnu que la réidentification de personnes (person ReID) dépend fortement des informations texturelles visuelles, telles que les vêtements. Malgré les progrès significatifs réalisés ces dernières années, les situations complexes liées aux textures — comme les changements de vêtements ou la présence de personnes portant des tenues identiques — reçoivent peu d’attention des méthodes de ReID existantes. Dans ce travail, au lieu de s’appuyer sur des informations basées sur la texture, nous proposons d’améliorer la robustesse de la réidentification de personnes face aux variations de texture vestimentaire en exploitant les informations relatives à la forme 3D d’une personne. Les approches existantes d’apprentissage de la forme pour la réidentification de personnes ignorent soit l’information 3D, soit nécessitent des dispositifs physiques supplémentaires pour acquérir des données 3D. À la différence, nous proposons un cadre d’apprentissage de ReID novateur qui extrait directement un embedding de forme 3D insensible à la texture à partir d’une image 2D, en intégrant la reconstruction du corps 3D comme tâche auxiliaire et comme régularisation, appelé 3D Shape Learning (3DSL). La régularisation fondée sur la reconstruction 3D oblige le modèle de ReID à décomposer l’information de forme 3D de la texture visuelle, afin d’acquérir des caractéristiques discriminantes pour la réidentification basées sur la forme 3D. Pour surmonter le manque de vérité terrain 3D, nous avons conçu un modèle d’auto-supervision par projection adversaire (ASSP), permettant une reconstruction 3D sans nécessiter de données de référence. Des expériences étendues sur des jeux de données standards de ReID ainsi que sur des jeux de données spécifiques aux situations de confusion texturelle valident efficacement la performance de notre modèle.