Suivi en temps réel 3D à l’aide d’un modèle profond multi-caméras

Le suivi d’une foule en 3D à l’aide de plusieurs caméras RGB constitue une tâche difficile. La plupart des algorithmes de suivi multi-caméras proposés précédemment sont conçus pour un traitement hors ligne et présentent une complexité computationnelle élevée. Le suivi multi-caméras 3D en temps réel robuste reste un problème non résolu. Dans ce travail, nous proposons une nouvelle chaîne de suivi end-to-end, appelée Deep Multi-Camera Tracking (DMCT), qui permet un suivi fiable en temps réel de plusieurs personnes à partir de plusieurs caméras. Notre DMCT se compose de : 1) un réseau profond innovant et rapide, le Perspective-Aware Deep GroundPoint Network, 2) une procédure de fusion pour l’estimation de la carte d’occupation du plan de sol, 3) un nouveau réseau profond, le Deep Glimpse Network, dédié à la détection des personnes, et 4) un suivi en ligne rapide et précis. Notre conception exploite pleinement le potentiel des réseaux de neurones profonds pour estimer le « point de sol » de chaque personne dans chaque image couleur, une estimation pouvant être optimisée pour fonctionner efficacement et de manière robuste. La procédure de fusion, le réseau Glimpse et le suiveur combinent les résultats provenant de différentes vues, identifient des candidats à la présence humaine à l’aide de plusieurs trames vidéo, puis suivent les personnes sur la carte de fusion. Notre système atteint des résultats de suivi de pointe tout en maintenant des performances en temps réel. En plus de l’évaluation sur le jeu de données exigeant WILDTRACK, nous avons également collecté deux nouveaux jeux de données de suivi, étiquetés avec une haute qualité, provenant de deux environnements et configurations de caméras différents. Nos résultats expérimentaux confirment que notre chaîne en temps réel proposée obtient des performances supérieures à celles des approches antérieures.