Transformateur à maillage déformable pour la récupération de maillage 3D humain

Nous présentons DeFormable mesh transFormer (DeFormer), une nouvelle approche basée sur les sommets pour la reconstruction 3D de maillage humain à partir d'une seule vue. DeFormer ajuste itérativement un modèle de maillage corporel à une image d'entrée grâce à une boucle de rétroaction d'alignement de maillage intégrée dans un décodeur transformer doté de modules d'attention efficaces pilotés par le maillage corporel : 1) l'attention auto-sparse du corps et 2) l'attention croisée déformable du maillage. En conséquence, DeFormer parvient à exploiter efficacement des cartes de caractéristiques d'image à haute résolution ainsi qu'un modèle de maillage dense, des éléments qui étaient auparavant coûteux à traiter dans les approches précédentes utilisant l'attention standard du transformer. Les résultats expérimentaux montrent que DeFormer atteint des performances de pointe sur les benchmarks Human3.6M et 3DPW. Une étude d'ablation est également menée afin de démontrer l'efficacité des choix architecturaux de DeFormer pour tirer parti des cartes de caractéristiques multi-échelles. Le code est disponible à l'adresse suivante : https://github.com/yusukey03012/DeFormer.