Réseaux de convolution génératifs adverses pour la synthèse d'actions humaines

La synthèse des dynamiques spatiales et temporelles du squelette humain reste une tâche ardue, non seulement en termes de qualité des formes générées, mais aussi en termes de diversité, notamment pour synthétiser des mouvements corporels réalistes d'une action spécifique (conditionnement d'action). Dans cet article, nous proposons Kinetic-GAN, une nouvelle architecture qui tire parti des avantages des Réseaux Adversariaux Générateurs (GAN) et des Réseaux de Convolution sur Graphes (GCN) pour synthétiser la cinématique du corps humain. L'architecture adversariale proposée peut conditionner jusqu'à 120 actions différentes sur les mouvements locaux et globaux du corps tout en améliorant la qualité et la diversité des échantillons grâce à la dissociation de l'espace latent et aux variations stochastiques. Nos expériences ont été menées sur trois jeux de données bien connus, où Kinetic-GAN dépasse notablement les méthodes de pointe en termes de métriques de qualité de distribution tout en étant capable de synthétiser plus d'un ordre de grandeur concernant le nombre d'actions différentes. Notre code et nos modèles sont disponibles au public sur https://github.com/DegardinBruno/Kinetic-GAN.