BioPose : Estimation de la posture 3D biologiquement précise à partir de vidéos monoculaires

Les récentes avancées dans l'estimation de la posture humaine en 3D à partir d'images et de vidéos monoculaires ont reposé sur des modèles paramétriques, tels que le modèle SMPL. Cependant, ces modèles simplifient excessivement les structures anatomiques, limitant leur précision pour capturer les véritables positions et mouvements des articulations, ce qui réduit leur applicabilité en biomécanique, santé et robotique. L'estimation de la posture biomécaniquement précise nécessite généralement des systèmes coûteux de capture de mouvement basés sur des marqueurs et des techniques d'optimisation dans des laboratoires spécialisés. Pour combler cette lacune, nous proposons BioPose, un cadre novateur basé sur l'apprentissage pour prédire directement une posture humaine en 3D biomécaniquement précise à partir de vidéos monoculaires. BioPose comprend trois composants clés : un modèle de récupération de maillage humain multi-requêtes (MQ-HMR), un modèle de cinématique inverse neuronale (NeurIK) et une technique de raffinement de la posture informée par la 2D. MQ-HMR utilise un transformateur déformable multi-requêtes pour extraire des caractéristiques d'image fines à plusieurs échelles, permettant une récupération précise du maillage humain. NeurIK traite les sommets du maillage comme des marqueurs virtuels, appliquant un réseau spatio-temporel pour régresser des postures en 3D biomécaniquement précises sous contraintes anatomiques. Pour améliorer encore davantage les estimations de posture en 3D, une étape de raffinement informée par la 2D optimise les jetons de requête lors de l'inférence en alignant la structure 3D avec les observations de posture 2D. Des expériences sur des jeux de données de référence montrent que BioPose dépasse significativement les méthodes les plus avancées actuellement disponibles.Site web du projet :\url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}.