Apprentissage multi-tâches avec des a-priori grossiers pour une ré-identification de personnes sensible aux parties robuste

Les représentations au niveau des parties du corps sont essentielles pour une identification de personnes robuste (ReID), mais en pratique, la qualité des caractéristiques est compromise en raison du problème d’alignement incorrect des parties du corps. Dans cet article, nous proposons une méthode robuste, compacte et facile à utiliser, nommée Réseau Multi-tâche Sensible aux Parties (MPN), conçue pour extraire des caractéristiques au niveau des parties du corps sémantiquement alignées à partir d’images de piétons. Le MPN résout le problème d’alignement des parties du corps grâce à l’apprentissage multi-tâches (MTL) pendant l’étape d’entraînement. Plus précisément, pour chaque partie du corps, il construit une tâche principale (MT) et une tâche auxiliaire (AT) au-dessus du même modèle de base (backbone). Les tâches auxiliaires sont dotées d’un prior grossier sur les positions des parties du corps pour les images d’entraînement. Ces tâches auxiliaires transfèrent ensuite le concept des parties du corps vers les tâches principales en optimisant les paramètres de la MT afin d’identifier les canaux pertinents aux parties dans le modèle de base. Ce transfert de concepts est réalisé grâce à deux stratégies d’alignement novatrices : l’alignement dans l’espace des paramètres par partage dur de paramètres, et l’alignement dans l’espace des caractéristiques de manière classé par classe. Grâce aux paramètres de haute qualité appris, les tâches principales peuvent extraire indépendamment des caractéristiques au niveau des parties du corps sémantiquement alignées à partir des canaux pertinents lors de l’étape de test. Le MPN présente trois avantages clés : 1) il n’exige pas de détection des parties du corps pendant l’étape d’inférence ; 2) son modèle est très compact et efficace à la fois pour l’entraînement et le test ; 3) pendant l’entraînement, il nécessite uniquement des priors grossiers sur les positions des parties du corps, facilement obtenus. Des expériences systématiques menées sur quatre bases de données ReID à grande échelle démontrent que le MPN surpasse de manière significative les approches de pointe. Le code est disponible à l’adresse suivante : https://github.com/WangKan0128/MPN.