HyperAIHyperAI
il y a 8 jours

Mesh Graphormer

Kevin Lin, Lijuan Wang, Zicheng Liu
Mesh Graphormer
Résumé

Nous présentons un modèle de transformer renforcé par convolution de graphe, nommé Mesh Graphormer, destiné à la reconstruction de la posture et du maillage 3D à partir d'une seule image. Récemment, tant les transformateurs que les réseaux de neurones à convolution de graphe (GCNN) ont montré des progrès prometteurs dans la reconstruction de maillages humains 3D. Les approches basées sur les transformateurs sont particulièrement efficaces pour modéliser les interactions non locales entre les sommets du maillage 3D et les articulations du corps, tandis que les GCNN s'avèrent performants pour exploiter les interactions locales entre sommets voisins, en s'appuyant sur une topologie de maillage prédéfinie. Dans ce travail, nous étudions comment combiner les convolutions de graphe et les mécanismes d'attention auto-associative dans un transformer afin de modéliser à la fois les interactions locales et globales. Les résultats expérimentaux démontrent que notre méthode proposée, Mesh Graphormer, surpasser significativement les méthodes précédemment état de l'art sur plusieurs benchmarks, notamment Human3.6M, 3DPW et FreiHAND. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/microsoft/MeshGraphormer