Estimation de pose 2D/3D et reconnaissance d’actions à l’aide de l’apprentissage profond multitâche

La reconnaissance d'actions et l'estimation de la posture humaine sont étroitement liées, mais ces deux problèmes sont généralement traités comme des tâches distinctes dans la littérature. Dans ce travail, nous proposons un cadre multitâche pour l'estimation conjointe des postures 2D et 3D à partir d'images fixes et la reconnaissance d'actions humaines à partir de séquences vidéo. Nous montrons qu'une seule architecture peut être utilisée pour résoudre efficacement les deux problèmes tout en obtenant des résultats de pointe. De plus, nous démontrons que l'optimisation de bout en bout conduit à une précision significativement supérieure par rapport à l'apprentissage séparé. L'architecture proposée peut être formée simultanément avec des données provenant de différentes catégories de manière fluide. Les résultats rapportés sur quatre jeux de données (MPII, Human3.6M, Penn Action et NTU) témoignent de l'efficacité de notre méthode sur les tâches ciblées.