Représentations bilinéaires alignées pour la réidentification des personnes

Nous proposons un nouveau réseau qui apprend une représentation alignée par parties pour la ré-identification de personnes. Ce réseau gère le problème de désalignement des parties du corps, c'est-à-dire que les parties du corps sont mal alignées entre les détections humaines en raison des changements de posture/point de vue et d'une détection peu fiable. Notre modèle est composé d'un réseau à deux flux (un flux pour l'extraction de la carte d'apparence et l'autre pour l'extraction de la carte des parties du corps) et d'une couche de regroupement bilinéaire qui génère et regroupe spatialement une carte alignée par parties. Chaque caractéristique locale de la carte alignée par parties est obtenue par une projection bilinéaire des descripteurs locaux correspondants d'apparence et de partie du corps. Notre nouvelle représentation conduit à une similarité robuste de correspondance d'images, équivalente à une agrégation des similarités locales des parties du corps correspondantes combinées avec la similarité d'apparence pondérée. Cette représentation alignée par parties réduit considérablement le problème de désalignement des parties. Notre approche présente également un avantage sur d'autres représentations guidées par la posture (par exemple, l'extraction de représentations sur la boîte englobante de chaque partie du corps) en apprenant des descripteurs de parties optimaux pour la ré-identification de personnes. Pour entraîner le réseau, notre méthode ne nécessite aucune annotation de partie sur le jeu de données de ré-identification de personnes. Au lieu de cela, nous initialisons simplement le sous-flux des parties en utilisant un sous-réseau pré-entraîné d'un réseau existant d'estimation de posture, puis nous formons l'ensemble du réseau pour minimiser la perte de ré-identification. Nous validons l'efficacité de notre approche en démontrant sa supériorité sur les méthodes les plus avancées actuellement disponibles sur les jeux de données standards, y compris Market-1501, CUHK03, CUHK01 et DukeMTMC, ainsi que sur le jeu de données vidéo standard MARS.