Alignement guidé par la co-annotation humaine pour la réidentification de personnes masquées

La réidentification de personnes masquées (ReID) constitue une tâche particulièrement difficile en raison de bruits de fond accrue et de l'information partielle du premier plan. Bien que les méthodes actuelles de ReID basées sur la segmentation humaine puissent traiter ce problème grâce à une alignement sémantique au niveau pixel, leur performance est fortement dépendante du modèle de segmentation humaine utilisé. La plupart des méthodes supervisées proposent d’entraîner un modèle supplémentaire de segmentation humaine en parallèle du modèle ReID, en s’appuyant sur des annotations de parties corporelles croisées entre domaines, ce qui entraîne un coût d’étiquetage élevé et un écart de domaine significatif ; les méthodes non supervisées intègrent quant à elles un processus de segmentation basé sur le regroupement de caractéristiques dans le modèle ReID, mais le manque de signaux de supervision conduit à des résultats de segmentation insatisfaisants. Dans cet article, nous proposons que les informations préexistantes présentes dans les jeux de données d’entraînement ReID puissent être directement exploitées comme signaux de supervision pour entraîner le modèle de segmentation humaine, sans nécessiter d’étiquetage additionnel. En intégrant un réseau de co-segmentation humaine faiblement supervisé dans le réseau ReID, nous proposons un cadre novateur qui exploite les informations partagées entre différentes images d’une même personne, nommé cadre d’alignement guidé par co-segmentation humaine (HCGA, Human Co-parsing Guided Alignment). Plus précisément, le réseau de co-segmentation humaine est faiblement supervisé par trois critères de cohérence : sémantique globale, espace local et arrière-plan. En alimentant le module d’alignement guidé avec des informations sémantiques et des caractéristiques profondes issues du réseau ReID de personnes, il devient possible d’obtenir des caractéristiques du premier plan et des parties corporelles, permettant ainsi une réidentification efficace de personnes partiellement masquées. Les résultats expérimentaux sur deux jeux de données masqués et deux jeux de données complets démontrent l’efficacité de notre méthode. En particulier, sur le jeu de données Occluded-DukeMTMC, elle atteint une précision Rank-1 de 70,2 % et une mAP de 57,5 %.