DSFFNet : Réseau de fusion de caractéristiques double face pour le transfert de pose 3D

Pour résoudre le problème de déformation des poses lors de la propagation avant des caractéristiques de pose dans les méthodes existantes, cet article propose un réseau de fusion de caractéristiques double face pour le transfert de pose (DSFFNet). Tout d'abord, un code de pose de longueur fixe est extrait du maillage source par un encodeur de pose et combiné avec les sommets cibles pour former une caractéristique mixte. Ensuite, un module de normalisation d'instance adaptative à la fusion des caractéristiques (FFAdaIN) est conçu, capable de traiter simultanément les caractéristiques de pose et d'identité, permettant ainsi une compensation progressive des caractéristiques de pose lors de la propagation avant couche par couche, ce qui résout le problème de déformation des poses. Enfin, en utilisant un décodeur de maillage composé de ce module, les poses sont progressivement transférées au maillage cible. Les résultats expérimentaux sur les jeux de données SMPL, SMAL, FAUST et MultiGarment montrent que DSFFNet réussit à résoudre le problème de déformation des poses tout en maintenant une structure réseau plus petite dotée d'une capacité accrue de transfert de pose et d'une vitesse plus rapide de convergence, et peut s'adapter aux maillages avec différents nombres de sommets. Le code source est disponible à l'adresse suivante : https://github.com/YikiDragon/DSFFNet