Estimateur et suiveur de pose utilisant des cartes de flux temporelles pour les membres

Pour l'estimation de la posture humaine dans les vidéos, il est crucial de savoir comment utiliser les informations temporelles entre les images. Dans cet article, nous proposons des cartes de flux temporel pour les membres (TML) et une méthode multi-pas pour estimer et suivre les postures humaines. Les cartes de flux temporel proposées sont des vecteurs unitaires décrivant les mouvements des membres. Nous avons construit un réseau capable d'apprendre à la fois les informations spatiales et temporelles de manière end-to-end. Les informations spatiales, telles que les cartes de chaleur des articulations et les champs d'affinité des parties du corps, sont régressées dans la partie spatiale du réseau, tandis que le TML est régressé dans la partie temporelle du réseau. Nous proposons également une méthode d'augmentation de données pour apprendre différents types de TML plus efficacement. La méthode multi-pas proposée élargit les données en sélectionnant aléatoirement deux images dans une plage définie. Nous montrons que la méthode proposée est capable d'estimer et de suivre efficacement les postures humaines sur les ensembles de données PoseTrack 2017 et 2018.