Apprentissage d'hypergraphes multi-granulaires pour la ré-identification de personnes basée sur des vidéos

L’identification de personnes basée sur des vidéos (re-ID) constitue un sujet de recherche important en vision par ordinateur. La clé pour relever ce défi réside dans l’exploitation simultanée des indices spatiaux et temporels présents dans les séquences vidéo. Dans ce travail, nous proposons un cadre novateur fondé sur les graphes, nommé Hypergraphe Multi-Granulaire (MGH), afin d’obtenir de meilleures capacités de représentation en modélisant les dépendances spatio-temporelles à travers plusieurs granularités. Plus précisément, des hypergraphes aux différentes granularités spatiales sont construits à l’aide de caractéristiques partielles à divers niveaux le long de la séquence vidéo. Dans chaque hypergraphe, des granularités temporelles différentes sont capturées par des hyperarêtes reliant un ensemble de nœuds du graphe (c’est-à-dire des caractéristiques partielles) sur des intervalles temporels distincts. Deux problèmes critiques — le désalignement et l’occlusion — sont explicitement traités grâce aux schémas proposés de propagation dans les hypergraphes et d’agrégation des caractéristiques. Enfin, nous améliorons davantage la représentation vidéo globale en apprenant des représentations au niveau du graphe plus diversifiées à plusieurs granularités, basées sur la minimisation de l’information mutuelle. Des expérimentations étendues sur trois benchmarks largement utilisés démontrent clairement l’efficacité du cadre proposé. Notamment, une précision au top-1 de 90,0 % sur le jeu de données MARS est atteinte avec MGH, surpassant ainsi les méthodes de pointe. Le code est disponible à l’adresse suivante : https://github.com/daodaofr/hypergraph_reid.