HMP : Priorités de Mouvement de la Main pour l'Estimation de la Posture et de la Forme à partir d'une Vidéo

Comprendre comment les humains interagissent avec le monde nécessite une estimation précise de la posture 3D de la main, une tâche compliquée par le haut degré d'articulation de la main, les occultations fréquentes, les auto-occultations et les mouvements rapides. Bien que la plupart des méthodes existantes s'appuient sur des entrées d'images uniques, les vidéos offrent des indices utiles pour aborder les problèmes mentionnés. Cependant, les jeux de données vidéo existants pour l'estimation 3D de la main sont insuffisants pour entraîner des modèles feedforward à généraliser aux scénarios réels. D'un autre côté, nous avons accès à de grands jeux de données de capture de mouvement humain qui incluent également des mouvements de mains, comme par exemple AMASS. Nous développons donc un modèle prédictif générateur spécifique aux mains, formé sur le jeu de données AMASS qui présente des mouvements de mains diversifiés et de haute qualité. Ce modèle prédictif est ensuite utilisé pour l'estimation du mouvement 3D des mains basée sur vidéo en suivant une approche d'optimisation latente. Notre intégration d'un modèle prédictif robuste améliore considérablement les performances, en particulier dans les scénarios d'occultation. Il produit des résultats stables et temporellement cohérents qui surpassent les méthodes conventionnelles basées sur une seule image. Nous démontrons l'efficacité de notre méthode par des évaluations qualitatives et quantitatives sur les jeux de données HO3D et DexYCB, avec une attention particulière portée à un sous-ensemble d'HO3D axé sur l'occultation. Le code est disponible à l'adresse https://hmp.is.tue.mpg.de