Génération de mouvement à la demande conditionnée par l'action

Nous proposons un cadre novateur, la Génération de Mouvements à la Demande (ODMO), pour générer des séquences de mouvements 3D humains réalistes et variées sur le long terme, conditionnées uniquement par les types d'actions avec une capacité supplémentaire de personnalisation. L'ODMO montre des améliorations par rapport aux approches de l'état de l'art sur tous les métriques traditionnelles d'évaluation du mouvement lorsqu'elle est évaluée sur trois jeux de données publics (HumanAct12, UESTC et MoCap). De plus, nous fournissons des évaluations qualitatives et quantitatives démontrant plusieurs capacités de personnalisation inédites offertes par notre cadre, notamment la découverte de modes, l'interpolation et la personnalisation de trajectoires. Ces capacités considérablement élargissent le spectre des applications potentielles de tels modèles de génération de mouvements.Les nouvelles capacités génératives à la demande sont rendues possibles par des innovations dans les architectures du codificateur et du décodificateur : (i) Codificateur : Utilisation de l'apprentissage contrastif dans un espace latent à faible dimension pour créer un plongement hiérarchique des séquences de mouvements, où non seulement les codes des différents types d'actions forment des groupes distincts, mais également au sein d'un même type d'action, les codes présentant des motifs inhérents similaires (styles de mouvement) se regroupent, facilitant ainsi leur découverte ; (ii) Décodificateur : Utilisation d'une stratégie de décodage hiérarchique où la trajectoire du mouvement est reconstruite en premier lieu puis utilisée pour reconstruire toute la séquence de mouvement. Une telle architecture permet un contrôle efficace de la trajectoire.Notre code est disponible sur la page Github suivante : https://github.com/roychowdhuryresearch/ODMO