Reconstruction de la posture et du maillage humains de bout en bout avec des transformateurs

Nous présentons une nouvelle méthode, appelée MEsh TRansfOrmer (METRO), pour reconstruire la posture 3D humaine et les sommets du maillage à partir d'une seule image. Notre méthode utilise un encodeur de transformateur pour modéliser conjointement les interactions sommet-sommet et sommet-articulation, et produit simultanément les coordonnées 3D des articulations et les sommets du maillage. Comparée aux techniques existantes qui régressent les paramètres de posture et de forme, METRO ne repose sur aucun modèle de maillage paramétrique comme SMPL, ce qui lui permet d'être facilement étendue à d'autres objets tels que les mains. Nous relâchons davantage la topologie du maillage et autorisons le mécanisme d'auto-attention du transformateur à s'appliquer librement entre n'importe quels deux sommets, rendant possible l'apprentissage de relations non locales entre les sommets du maillage et les articulations. Grâce au masquage des sommets proposé, notre méthode est plus robuste et efficace dans la gestion des situations difficiles telles que les occultations partielles. METRO génère de nouveaux résultats de pointe pour la reconstruction de maillages humains sur les jeux de données publics Human3.6M et 3DPW. De plus, nous démontrons la généralisabilité de METRO à la reconstruction 3D des mains en conditions réelles, surpassant les méthodes actuelles de pointe sur le jeu de données FreiHAND. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/microsoft/MeshTransformer.