RemoCap : Apprentissage de représentations dissociées pour la capture de mouvement

La reconstruction de corps humains 3D à partir de séquences de mouvements réalistes reste un défi en raison des occultations omniprésentes et complexes. Les méthodes actuelles peinent à capturer la dynamique des parties du corps occultées, ce qui entraîne des pénétrations de modèle et des mouvements déformés. RemoCap utilise le Désentrelacement Spatial (SD) et le Désentrelacement de Mouvement (MD) pour surmonter ces limitations. Le SD résout les interférences d'occultation entre le corps humain cible et les objets environnants. Il atteint cet objectif en désentrelaçant les caractéristiques cibles le long de l'axe dimensionnel. En alignant les caractéristiques selon leurs positions spatiales dans chaque dimension, le SD isole la réponse de l'objet cible au sein d'une fenêtre globale, permettant une capture précise malgré les occultations. Le module MD emploie une stratégie de mélange temporel par canal pour simuler diverses dynamiques de scène. Ce processus désentrelace efficacement les caractéristiques de mouvement, permettant à RemoCap de reconstruire les parties occultées avec une plus grande fidélité. De plus, cet article introduit une perte de vitesse séquentielle qui favorise la cohérence temporelle. Cette perte contraint les erreurs de vitesse inter-cadres, garantissant que le mouvement prédit présente une cohérence réaliste. Des comparaisons étendues avec des méthodes d'avant-garde (SOTA) sur des jeux de données de référence montrent la supériorité de RemoCap dans la reconstruction 3D des corps humains. Sur le jeu de données 3DPW, RemoCap dépasse tous ses concurrents, obtenant les meilleurs résultats en termes de métriques MPVPE (81,9), MPJPE (72,7) et PA-MPJPE (44,1). Les codes sont disponibles à l'adresse suivante : https://wanghongsheng01.github.io/RemoCap/.