PyMAF : Régression de la posture et de la forme humaines en 3D avec une boucle de rétroaction d'alignement pyramidal des maillages

Les méthodes basées sur la régression ont récemment montré des résultats prometteurs dans la reconstruction de maillages humains à partir d'images monoculaires. En cartographiant directement les pixels bruts sur les paramètres du modèle, ces méthodes peuvent produire des modèles paramétriques de manière feed-forward grâce aux réseaux neuronaux. Cependant, une légère déviation dans les paramètres peut entraîner un décalage notable entre les maillages estimés et les preuves issues des images. Pour résoudre ce problème, nous proposons une boucle de retour d'information d'alignement pyramidal des maillages (PyMAF) afin d'utiliser une pyramide de caractéristiques et de corriger explicitement les paramètres prédits en fonction de l'état d'alignement entre le maillage et l'image dans notre régresseur profond. Dans PyMAF, étant donnés les paramètres actuellement prédits, des preuves alignées au maillage seront extraites des caractéristiques à plus haute résolution et réintroduites pour la rectification des paramètres. Pour réduire le bruit et améliorer la fiabilité de ces preuves, une supervision auxiliaire pixel par pixel est imposée à l'encodeur de caractéristiques, qui fournit une orientation sur la correspondance entre le maillage et l'image pour que notre réseau conserve les informations les plus pertinentes dans les caractéristiques spatiales. L'efficacité de notre approche est validée sur plusieurs benchmarks, dont Human3.6M, 3DPW, LSP et COCO, où les résultats expérimentaux montrent que notre méthode améliore constamment l'alignement entre le maillage et l'image lors de la reconstruction. La page du projet avec le code source et les résultats vidéo est disponible à l'adresse suivante : https://hongwenzhang.github.io/pymaf.注释：- "feed-forward" 通常在法语中直接使用英语术语，因此保留未翻译。- "Human3.6M", "3DPW", "LSP", 和 "COCO" 是常见的基准数据集名称，因此保留英文原名。