HyperAIHyperAI

Command Palette

Search for a command to run...

PyMAF-X : Vers une régression de modèle corporel complet bien alignée à partir d'images monoculaires

Hongwen Zhang Yating Tian Yuxiang Zhang Mengcheng Li Liang An Zhenan Sun, Senior Member, IEEE Yebin Liu, Member, IEEE

Résumé

Nous présentons PyMAF-X, une approche basée sur la régression pour la récupération de modèles corporels paramétriques à partir d'images monoculaires. Cette tâche est très complexe car une petite déviation paramétrique peut entraîner un alignement notablement incorrect entre le maillage estimé et l'image d'entrée. De plus, lors de l'intégration des estimations spécifiques à certaines parties du corps dans le modèle complet, les solutions existantes ont tendance soit à dégrader l'alignement, soit à produire des postures de poignet peu naturelles. Pour résoudre ces problèmes, nous proposons une boucle de rétroaction d'alignement de maillage pyramidal (PyMAF) dans notre réseau de régression afin de récupérer des maillages humains bien alignés, et nous l'étendons sous forme de PyMAF-X pour la récupération de modèles corporels expressifs complets. L'idée centrale de PyMAF consiste à exploiter une pyramide de caractéristiques et à corriger explicitement les paramètres prédits en fonction du statut d'alignement entre le maillage et l'image. Plus précisément, étant donnés les paramètres actuellement prédits, des preuves alignées au maillage seront extraites des caractéristiques à plus haute résolution et réinjectées pour la correction des paramètres. Pour améliorer la perception de l'alignement, une supervision dense auxiliaire est utilisée pour fournir une orientation sur la correspondance entre le maillage et l'image, tandis qu'une attention d'alignement spatial est introduite pour permettre à notre réseau d'être conscient des contextes globaux. Lorsque nous étendons PyMAF pour la récupération de maillages corporels complets, une stratégie d'intégration adaptative est proposée dans PyMAF-X afin de produire des postures de poignet naturelles tout en maintenant les performances bien alignées des estimations spécifiques aux parties du corps. L'efficacité de notre approche est validée sur plusieurs jeux de données基准数据集 (benchmark datasets) pour la récupération du corps, des mains, du visage et du modèle corporel complet, où PyMAF et PyMAF-X améliorent efficacement l'alignement entre le maillage et l'image et atteignent des résultats nouveaux états de l'art. La page du projet avec le code source et les résultats vidéo est disponible à l'adresse https://www.liuyebin.com/pymaf-x.注:在翻译中,“基准数据集”被翻译为“jeux de données benchmark”,并在括号中标注了原文以确保信息完整。


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp