Capture du corps humain occlus avec un a priori de mouvement spatio-temporel auto-supervisé

Bien que des progrès significatifs aient été réalisés dans le domaine de la capture de mouvement humain monoculaire sans marqueur ces dernières années, les méthodes les plus avancées peinent encore à obtenir des résultats satisfaisants dans les scénarios d'occlusion. Il y a deux raisons principales : la première est que la capture de mouvement en cas d'occlusion est intrinsèquement ambiguë, car diverses postures 3D peuvent correspondre aux mêmes observations 2D, ce qui entraîne souvent une estimation peu fiable. La seconde est qu'il n'existe pas suffisamment de données sur l'homme occlus pour former un modèle robuste. Pour surmonter ces obstacles, notre idée clé consiste à utiliser des données sur l'homme non occlus afin d'apprendre une contrainte spatiale et temporelle au niveau des articulations pour l'homme occlus, avec une stratégie auto-supervisée. Afin de réduire davantage l'écart entre les données d'occlusion synthétiques et réelles, nous avons créé le premier jeu de données sur le mouvement 3D occlus (OcMotion), qui peut être utilisé pour la formation et les tests. Nous codifions les mouvements dans des cartes 2D et synthétisons des occlusions sur les données non occlus pour la formation auto-supervisée. Une couche spatiale et temporelle est ensuite conçue pour apprendre les corrélations au niveau des articulations. Le modèle prédictif appris réduit les ambiguïtés liées aux occlusions et est robuste face à divers types d'occlusions, ce qui permet ensuite d'aider à la capture de mouvement humain en cas d'occlusion. Les résultats expérimentaux montrent que notre méthode peut générer des mouvements humains précis et cohérents à partir de vidéos occluses, avec une bonne capacité de généralisation et une efficacité en temps réel. Le jeu de données et le code sont disponibles publiquement sur \url{https://github.com/boycehbz/CHOMP}.