Apprentissage par interaction dense pour la réidentification de personnes basée sur des vidéos

La ré-identification de personnes basée sur des vidéos (re-ID) vise à associer le même individu à travers différentes séquences vidéo. L’exploitation efficace de caractéristiques fines à plusieurs échelles, tout en établissant des interactions structurelles entre elles, est fondamentale pour le succès de cette tâche. Dans cet article, nous proposons un cadre hybride, appelé Dense Interaction Learning (DenseIL), qui combine les avantages principaux des architectures basées sur les réseaux de neurones convolutifs (CNN) et celles basées sur l’attention afin de surmonter les défis posés par la ré-identification de personnes en vidéo. DenseIL comprend un encodeur CNN et un décodeur à interaction dense (DI). L’encodeur CNN est chargé d’extraire efficacement des caractéristiques spatiales discriminantes, tandis que le décodeur DI est conçu pour modéliser de manière dense les interactions intrinsèques entre les dimensions spatiale et temporelle à travers les cadres. Contrairement aux approches antérieures, nous faisons en outre que le décodeur DI s’attende denses aux caractéristiques intermédiaires fines du CNN, ce qui permet naturellement d’obtenir une représentation spatiale et temporelle multi-graine pour chaque séquence vidéo. En outre, nous introduisons une embedding positionnel spatio-temporel (STEP-Emb) dans le décodeur DI afin d’explorer les relations positionnelles entre les entrées spatiales et temporelles. Nos expériences montrent que DenseIL surpasse de manière cohérente et significative toutes les méthodes de pointe sur plusieurs jeux de données standard de ré-identification de personnes en vidéo.