PyMAF-X : Vers une régression de modèle corporel complet bien alignée à partir d'images monoculaires

Nous présentons PyMAF-X, une approche basée sur la régression pour la récupération de modèles corporels paramétriques à partir d'images monoculaires. Cette tâche est très complexe car une petite déviation paramétrique peut entraîner un alignement notablement incorrect entre le maillage estimé et l'image d'entrée. De plus, lors de l'intégration des estimations spécifiques à certaines parties du corps dans le modèle complet, les solutions existantes ont tendance soit à dégrader l'alignement, soit à produire des postures de poignet peu naturelles. Pour résoudre ces problèmes, nous proposons une boucle de rétroaction d'alignement de maillage pyramidal (PyMAF) dans notre réseau de régression afin de récupérer des maillages humains bien alignés, et nous l'étendons sous forme de PyMAF-X pour la récupération de modèles corporels expressifs complets. L'idée centrale de PyMAF consiste à exploiter une pyramide de caractéristiques et à corriger explicitement les paramètres prédits en fonction du statut d'alignement entre le maillage et l'image. Plus précisément, étant donnés les paramètres actuellement prédits, des preuves alignées au maillage seront extraites des caractéristiques à plus haute résolution et réinjectées pour la correction des paramètres. Pour améliorer la perception de l'alignement, une supervision dense auxiliaire est utilisée pour fournir une orientation sur la correspondance entre le maillage et l'image, tandis qu'une attention d'alignement spatial est introduite pour permettre à notre réseau d'être conscient des contextes globaux. Lorsque nous étendons PyMAF pour la récupération de maillages corporels complets, une stratégie d'intégration adaptative est proposée dans PyMAF-X afin de produire des postures de poignet naturelles tout en maintenant les performances bien alignées des estimations spécifiques aux parties du corps. L'efficacité de notre approche est validée sur plusieurs jeux de données基准数据集 (benchmark datasets) pour la récupération du corps, des mains, du visage et du modèle corporel complet, où PyMAF et PyMAF-X améliorent efficacement l'alignement entre le maillage et l'image et atteignent des résultats nouveaux états de l'art. La page du projet avec le code source et les résultats vidéo est disponible à l'adresse https://www.liuyebin.com/pymaf-x.注：在翻译中，“基准数据集”被翻译为“jeux de données benchmark”，并在括号中标注了原文以确保信息完整。