Effacement de Caractéristiques et Réseau de Diffusion pour la Ré-identification de Personnes Occluses

La reconnaissance de personnes occultées (ReID) vise à apparer des images de personnes occultées avec des images complètes dans différentes vues caméra. Les piétons cibles (TP) sont généralement perturbés par les occultations non-piétonnières (NPO) et les piétons non-cibles (NTP). Les méthodes précédentes se concentrent principalement sur l'augmentation de la robustesse du modèle face aux NPO, tout en ignorant la contamination des caractéristiques provenant des NTP. Dans cet article, nous proposons un nouveau réseau d'Effacement et de Diffusion des Caractéristiques (FED) pour traiter simultanément les NPO et les NTP. Plus précisément, les caractéristiques des NPO sont éliminées par notre module d'Effacement des Occultations (OEM), aidé par une stratégie d'augmentation des NPO qui simule les NPO sur des images de piétons complets et génère des masques d'occultation précis. Par la suite, nous diffusons les représentations de piétons avec d'autres caractéristiques mémorisées pour synthétiser les caractéristiques des NTP dans l'espace de caractéristiques, ce qui est réalisé par un module de Diffusion des Caractéristiques (FDM) novateur grâce à un mécanisme d'attention croisée apprivoisé. Avec le guidage des scores d'occultation fournis par l'OEM, le processus de diffusion des caractéristiques est principalement effectué sur les parties visibles du corps, garantissant ainsi la qualité des caractéristiques synthétisées des NTP. En optimisant conjointement l'OEM et le FDM dans notre réseau FED proposé, nous pouvons considérablement améliorer la capacité perceptive du modèle envers les TP et atténuer l'influence des NPO et NTP. De plus, le FDM proposé ne fonctionne que comme un module auxiliaire pendant l'apprentissage et sera abandonné lors de la phase d'inférence, introduisant ainsi peu de surcoût computationnel pour l'inférence. Les expériences menées sur des bancs d'essai ReID occultés et complets démontrent la supériorité du FED par rapport aux méthodes actuelles, où le FED atteint une précision au rang 1 de 86,3% sur Occluded-REID, surpassant les autres méthodes d'au moins 4,7%.