HyperAIHyperAI

Command Palette

Search for a command to run...

Génération de séquences convolutives pour la synthèse d’actions basée sur les squelettes

Huahan Yan Zhizhong Li Yuanjun Xiong Sijie Yan

Résumé

Dans ce travail, nous visons à générer des actions longues représentées sous la forme de séquences de squelettes. Les séquences générées doivent illustrer des actions humaines continues et significatives, tout en préservant une cohérence entre les différentes parties du corps. Contrairement à la génération séquentielle des squelettes selon un modèle autoregressif, nous proposons un cadre qui génère l’intégralité de la séquence d’un seul coup, en effectuant une transformation à partir d’une séquence de vecteurs latents échantillonnés à partir d’un processus gaussien (GP). Ce cadre, nommé Réseau de Génération de Séquences Convolutif (CSGN), modélise simultanément les structures dans les dimensions temporelle et spatiale. Il capture la structure temporelle à plusieurs échelles grâce au prior du processus gaussien et aux convolutions temporelles, tout en établissant des connexions spatiales entre les vecteurs latents et les graphes de squelette via un nouveau schéma d’affinement de graphe. Il est à noter que CSGN permet des transformations bidirectionnelles entre l’espace latent et l’espace observé, ce qui permet une manipulation sémantique des séquences d’actions sous diverses formes. Nous avons mené des études empiriques sur plusieurs jeux de données, y compris un ensemble de séquences de danse de haute qualité collectées par nous-mêmes. Les résultats montrent que notre cadre est capable de produire des séquences d’actions longues, cohérentes à travers les étapes temporelles et entre les différentes parties du corps.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp