HyperAIHyperAI

Command Palette

Search for a command to run...

BioPose : Estimation de la posture 3D biologiquement précise à partir de vidéos monoculaires

Farnoosh Koleini Muhammad Usama Saleem Pu Wang Hongfei Xue Ahmed Helmy Abbey Fenwick

Résumé

Les récentes avancées dans l'estimation de la posture humaine en 3D à partir d'images et de vidéos monoculaires ont reposé sur des modèles paramétriques, tels que le modèle SMPL. Cependant, ces modèles simplifient excessivement les structures anatomiques, limitant leur précision pour capturer les véritables positions et mouvements des articulations, ce qui réduit leur applicabilité en biomécanique, santé et robotique. L'estimation de la posture biomécaniquement précise nécessite généralement des systèmes coûteux de capture de mouvement basés sur des marqueurs et des techniques d'optimisation dans des laboratoires spécialisés. Pour combler cette lacune, nous proposons BioPose, un cadre novateur basé sur l'apprentissage pour prédire directement une posture humaine en 3D biomécaniquement précise à partir de vidéos monoculaires. BioPose comprend trois composants clés : un modèle de récupération de maillage humain multi-requêtes (MQ-HMR), un modèle de cinématique inverse neuronale (NeurIK) et une technique de raffinement de la posture informée par la 2D. MQ-HMR utilise un transformateur déformable multi-requêtes pour extraire des caractéristiques d'image fines à plusieurs échelles, permettant une récupération précise du maillage humain. NeurIK traite les sommets du maillage comme des marqueurs virtuels, appliquant un réseau spatio-temporel pour régresser des postures en 3D biomécaniquement précises sous contraintes anatomiques. Pour améliorer encore davantage les estimations de posture en 3D, une étape de raffinement informée par la 2D optimise les jetons de requête lors de l'inférence en alignant la structure 3D avec les observations de posture 2D. Des expériences sur des jeux de données de référence montrent que BioPose dépasse significativement les méthodes les plus avancées actuellement disponibles.Site web du projet :\url{https://m-usamasaleem.github.io/publication/BioPose/BioPose.html}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
BioPose : Estimation de la posture 3D biologiquement précise à partir de vidéos monoculaires | Articles | HyperAI