Exploration du partage de paramètres et perte triplet basée sur des centres hétérogènes pour la ré-identification de personnes en visible-infrarouge thermique

Ce travail se concentre sur la tâche de ré-identification de personnes en modalités croisées visible-infrarouge (VT Re-ID), dont l'objectif est d'apparier les images de personnes entre la modalité visible diurne et la modalité thermique nocturne. Un réseau à deux flux est généralement utilisé pour aborder le décalage inter-modalités, qui constitue le problème le plus difficile pour la VT Re-ID, en apprenant les caractéristiques multi-modales des personnes. Dans cet article, nous explorons combien de paramètres du réseau à deux flux devraient être partagés, un aspect qui n'est pas encore bien étudié dans la littérature existante.En divisant judicieusement le modèle ResNet50 pour construire un réseau d'extraction de caractéristiques spécifique à chaque modalité et un réseau d'ancrage de caractéristiques partagé entre les modalités, nous démontrons expérimentalement l'effet du partage de paramètres dans le réseau à deux flux pour la VT Re-ID. De plus, dans le cadre de l'apprentissage des caractéristiques de personnes au niveau des parties, nous proposons une perte triplet basée sur des centres hétérogènes afin de relâcher la contrainte stricte de la perte triplet traditionnelle en remplaçant la comparaison de l'échantillon ancre avec tous les autres échantillons par la comparaison du centre ancre avec tous les autres centres.Avec des moyens extrêmement simples, cette méthode proposée peut améliorer significativement les performances en VT Re-ID. Les résultats expérimentaux sur deux jeux de données montrent que notre méthode proposée surpassent nettement les méthodes actuelles d'état de l'art avec des marges importantes, notamment sur le jeu de données RegDB où elle atteint des performances supérieures avec un taux rank1/mAP/mINP de 91,05%/83,28%/68,84%. Cette méthode peut servir de nouvelle référence pour la VT Re-ID grâce à une stratégie simple mais efficace.