HP-GAN : Prédiction probabiliste du mouvement humain 3D par GAN

La prédiction et la compréhension des dynamiques du mouvement humain ont de nombreuses applications, telles que la synthèse de mouvements, la réalité augmentée, la sécurité et les véhicules autonomes. En raison des récents succès des réseaux de neurones génératifs adverses (GAN), il y a un grand intérêt pour l'estimation probabiliste et la génération de données synthétiques à l'aide d'architectures de réseaux de neurones profonds et d'algorithmes d'apprentissage.Nous proposons un nouveau modèle séquence-à-séquence pour la prédiction probabiliste du mouvement humain, formé avec une version modifiée des réseaux de neurones génératifs adverses améliorés par le Wasserstein (WGAN-GP). Dans ce modèle, nous utilisons une fonction de perte personnalisée conçue pour la prédiction du mouvement humain. Notre modèle, que nous appelons HP-GAN, apprend une fonction de densité de probabilité des postures futures conditionnée aux postures précédentes. Il prédit plusieurs séquences de postures humaines possibles futures, chacune issue de la même séquence d'entrée mais basée sur un vecteur z différent tiré d'une distribution aléatoire. De plus, pour quantifier la qualité des prédictions non déterministes, nous formons simultanément un modèle d'évaluation de la qualité du mouvement qui apprend la probabilité qu'une séquence donnée de squelette soit un mouvement humain réel.Nous testons notre algorithme sur deux des plus grands ensembles de données squelettiques : NTURGB-D et Human3.6M. Nous formons notre modèle sur des types d'actions simples et multiples. Sa puissance prédictive pour l'estimation à long terme du mouvement est démontrée par la génération de plusieurs futurs plausibles comprenant plus de 30 images à partir de seulement 10 images d'entrée. Nous montrons que la plupart des séquences générées à partir du même input ont plus de 50 % de probabilités d'être jugées comme étant une séquence humaine réelle. Nous mettrons tout le code utilisé dans cet article à disposition sur Github.