L'échantillonnage est essentiel : Reconstruction de maillage humain 3D guidée par des points

Ce document présente une méthode simple mais puissante pour la reconstruction de maillages humains 3D à partir d'une seule image RGB. Récemment, les interactions non locales de l'ensemble des sommets du maillage ont été efficacement estimées dans le transformer, tandis que les relations entre les parties du corps ont commencé à être traitées par le modèle de graphe. Bien que ces approches aient montré des progrès remarquables en matière de reconstruction de maillages humains 3D, il reste difficile d'inférer directement la relation entre les caractéristiques encodées à partir de l'image d'entrée 2D et les coordonnées 3D de chaque sommet. Pour résoudre ce problème, nous proposons de concevoir un schéma d'échantillonnage de caractéristiques simple. L'idée clé est d'échantillonner les caractéristiques dans l'espace plongé en suivant le guide des points, qui sont estimés comme résultats de projection des sommets du maillage 3D (c'est-à-dire la vérité terrain). Cela aide le modèle à se concentrer davantage sur les caractéristiques pertinentes aux sommets dans l'espace 2D, conduisant ainsi à la reconstruction d'une posture humaine naturelle. De plus, nous appliquons un masquage progressif de l'attention pour estimer précisément les interactions locales entre les sommets même en présence d'occlusions sévères. Les résultats expérimentaux sur des jeux de données de référence montrent que la méthode proposée améliore efficacement les performances de la reconstruction de maillages humains 3D. Le code et le modèle sont disponibles au public sur : https://github.com/DCVL-3D/PointHMR_release.