Apprentissage contrastif conscient de l'instance pour la reconstruction de maillage humain occluée

Dans cet article, une méthode simple mais efficace pour la reconstruction de maillages 3D humains robuste aux occlusions à partir d’une seule image est présentée. Bien que de nombreuses études récentes aient démontré des progrès significatifs dans la reconstruction de maillages humains, il reste difficile de générer des maillages précis lorsque des occlusions entre personnes se produisent, en raison de l’ambiguïté quant à l’appartenance d’une partie du corps à une personne donnée. Pour résoudre ce problème, nous proposons un schéma d’apprentissage contrastif sensible aux instances. Plus précisément, les caractéristiques des articulations appartenant à la personne cible sont entraînées pour être proches de la caractéristique d’ancrage (c’est-à-dire la caractéristique extraite à partir de la position centrale du corps). D’un autre côté, les caractéristiques d’ancrage correspondant à différentes instances humaines sont contraintes à être éloignées les unes des autres, afin que les caractéristiques des articulations de chaque personne puissent être clairement distinguées des autres. En interprétant l’appartenance des articulations grâce à ce schéma d’apprentissage contrastif, la méthode proposée parvient facilement à comprendre l’occupation spatiale des parties du corps pour chaque personne dans une image donnée, permettant ainsi une reconstruction fiable de maillages humains même dans des cas de superposition sévère entre plusieurs personnes. Les résultats expérimentaux sur des jeux de données de référence démontrent la robustesse de la méthode proposée par rapport aux approches antérieures en présence d’occlusions entre personnes. Le code et le modèle sont disponibles publiquement à l’adresse suivante : https://github.com/DCVL-3D/InstanceHMR_release.