Génération, prédiction et complétion de séquences vidéo d'actions humaines

Les résultats actuels de la génération vidéo par apprentissage profond sont limités, et il n'existe que quelques premiers résultats sur la prédiction vidéo, sans aucune avancée significative notable en matière de complétion vidéo. Ceci est dû à la sévérité du problème mal posé inhérent à ces trois tâches. Dans cet article, nous nous concentrons sur les vidéos d'actions humaines et proposons un cadre profond général en deux étapes pour générer des vidéos d'actions humaines sans contrainte ou avec un nombre arbitraire de contraintes, qui aborde uniformément les trois problèmes : génération vidéo sans trames d'entrée, prédiction vidéo à partir des premières trames, et complétion vidéo à partir des premières et dernières trames. Pour rendre le problème traitable, dans une première étape, nous formons un modèle génératif profond capable de produire une séquence de poses humaines à partir de bruit aléatoire. Dans une deuxième étape, un réseau de conversion squelette-image est entraîné pour générer une vidéo d'action humaine à partir de la séquence complète de poses humaines générée lors de la première étape. En introduisant cette stratégie en deux étapes, nous évitons les problèmes mal posés originaux tout en produisant pour la première fois des résultats de haute qualité en génération, prédiction et complétion vidéo d'une durée beaucoup plus longue. Nous présentons une évaluation quantitative et qualitative pour montrer que notre approche en deux étapes surpasse les méthodes les plus avancées dans les domaines de la génération vidéo, de la prédiction et de la complétion vidéo. La démonstration des résultats vidéo peut être consultée à l'adresse suivante : https://iamacewhite.github.io/supp/index.html