DiffMesh : un cadre de diffusion conscient du mouvement pour la récupération de maillages humains à partir de vidéos

La récupération de maillage humain (HMR) fournit des informations détaillées sur le corps humain pour de nombreuses applications réelles. Bien que les méthodes d’HMR basées sur les images aient atteint des résultats impressionnants, elles peinent souvent à reconstruire des personnes dans des scénarios dynamiques, entraînant des incohérences temporelles et des prédictions de mouvement 3D non lisses en raison de l’absence d’informations sur le mouvement humain. À l’inverse, les approches basées sur les vidéos exploitent les informations temporelles pour atténuer ce problème. Dans cet article, nous proposons DiffMesh, un cadre innovant inspiré des modèles de diffusion et sensible au mouvement, dédié à l’HMR basé sur les vidéos. DiffMesh établit un pont entre les modèles de diffusion et le mouvement humain, générant efficacement des séquences de maillages précises et lisses en intégrant le mouvement humain tant dans le processus direct que dans le processus inverse du modèle de diffusion. Des expériences étendues menées sur des jeux de données largement utilisés (Human3.6M \cite{h36m_pami} et 3DPW \cite{pw3d2018}) démontrent l’efficacité et l’efficience de notre méthode DiffMesh. Des comparaisons visuelles dans des scénarios du monde réel soulignent également sa pertinence pour des applications pratiques.