HyperAIHyperAI

Command Palette

Search for a command to run...

Raffinement Temporel pour la Récupération de la Pose et de la Forme Humaine à Partir de Vidéos

Ming Chen; Yan Zhou; Weihua Jian; Pengfei Wan; Zhongyuan Wang

Résumé

Bien que des progrès significatifs aient été réalisés ces dernières années dans la récupération de la posture et de la forme humaine à partir d'images RGB monoculaires, l'obtention d'un mouvement humain 3D avec une haute précision et une cohérence temporelle à partir de vidéos reste un défi. Les méthodes existantes basées sur les vidéos tendent à reconstruire le mouvement humain à partir de caractéristiques globales d'image, qui manquent de capacité de représentation détaillée et limitent la précision de la reconstruction. Dans cet article, nous proposons un réseau de raffinement temporellement conscient (TAR) pour explorer simultanément les caractéristiques globales et locales temporellement conscientes des images afin d'obtenir une récupération précise de la posture et de la forme. Premièrement, un encodeur global transformer est introduit pour extraire des caractéristiques globales temporelles à partir de séquences de caractéristiques statiques. Deuxièmement, un réseau ConvGRU bidirectionnel prend en entrée une séquence de cartes de caractéristiques à haute résolution et produit des cartes de caractéristiques locales temporelles qui maintiennent une haute résolution et capturent le mouvement local du corps humain. Enfin, un module de raffinement récurrent met à jour itérativement les paramètres estimés du modèle SMPL en utilisant tant les informations globales que locales temporelles pour obtenir des résultats précis et fluides. Des expériences approfondies montrent que notre TAR obtient des résultats plus précis que les méthodes précédentes les plus avancées sur des benchmarks populaires tels que 3DPW, MPI-INF-3DHP et Human3.6M.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp