Propagation de la connaissance temporelle pour la ré-identification de personnes d'image à vidéo

Dans de nombreux scénarios d'identification de personnes (Re-ID), l'ensemble de la galerie est composé de nombreuses vidéos de surveillance, tandis que la requête n'est qu'une image. Par conséquent, l'identification doit être effectuée entre une image et des vidéos. Comparativement aux vidéos, les images statiques de personnes manquent d'informations temporelles. De plus, l'asymétrie d'information entre les caractéristiques d'image et de vidéo augmente la difficulté de leur appariement. Pour résoudre ce problème, nous proposons une nouvelle méthode de propagation des connaissances temporelles (TKP) qui transfère les connaissances temporelles acquises par le réseau de représentation vidéo au réseau de représentation d'image. Plus précisément, étant données les vidéos en entrée, nous imposons au réseau de représentation d'image d'ajuster les sorties du réseau de représentation vidéo dans un espace de caractéristiques partagé. Grâce à la rétropropagation, les connaissances temporelles peuvent être transférées pour améliorer les caractéristiques d'image et atténuer le problème d'asymétrie d'information. Avec des pertes supplémentaires de classification et des pertes triplet intégrées, notre modèle peut apprendre des caractéristiques d'image et de vidéo expressives et discriminantes pour l'identification image-vidéo. Des expériences approfondies démontrent l'efficacité de notre méthode, et les résultats globaux sur deux ensembles de données largement utilisés surpassent largement les méthodes actuelles state-of-the-art. Le code est disponible à : https://github.com/guxinqian/TKP