HyperAIHyperAI

Command Palette

Search for a command to run...

RemoCap : Apprentissage de représentations dissociées pour la capture de mouvement

Hongsheng Wang∗1,2 Lizao Zhang∗2 Zhangnan Zhong2 Shuolin Xu2 Xinrui Zhou2 Shengyu Zhang1 Huahao Xu†3 Fei Wu1 Feng Lin2

Résumé

La reconstruction de corps humains 3D à partir de séquences de mouvements réalistes reste un défi en raison des occultations omniprésentes et complexes. Les méthodes actuelles peinent à capturer la dynamique des parties du corps occultées, ce qui entraîne des pénétrations de modèle et des mouvements déformés. RemoCap utilise le Désentrelacement Spatial (SD) et le Désentrelacement de Mouvement (MD) pour surmonter ces limitations. Le SD résout les interférences d'occultation entre le corps humain cible et les objets environnants. Il atteint cet objectif en désentrelaçant les caractéristiques cibles le long de l'axe dimensionnel. En alignant les caractéristiques selon leurs positions spatiales dans chaque dimension, le SD isole la réponse de l'objet cible au sein d'une fenêtre globale, permettant une capture précise malgré les occultations. Le module MD emploie une stratégie de mélange temporel par canal pour simuler diverses dynamiques de scène. Ce processus désentrelace efficacement les caractéristiques de mouvement, permettant à RemoCap de reconstruire les parties occultées avec une plus grande fidélité. De plus, cet article introduit une perte de vitesse séquentielle qui favorise la cohérence temporelle. Cette perte contraint les erreurs de vitesse inter-cadres, garantissant que le mouvement prédit présente une cohérence réaliste. Des comparaisons étendues avec des méthodes d'avant-garde (SOTA) sur des jeux de données de référence montrent la supériorité de RemoCap dans la reconstruction 3D des corps humains. Sur le jeu de données 3DPW, RemoCap dépasse tous ses concurrents, obtenant les meilleurs résultats en termes de métriques MPVPE (81,9), MPJPE (72,7) et PA-MPJPE (44,1). Les codes sont disponibles à l'adresse suivante : https://wanghongsheng01.github.io/RemoCap/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
RemoCap : Apprentissage de représentations dissociées pour la capture de mouvement | Articles | HyperAI