HandFoldingNet : Un réseau de estimation de pose 3D de main basé sur le pliage guidé par des caractéristiques multiscales d'une squelette 2D de main

Avec l’essor des applications de l’estimation de la posture 3D de la main dans diverses interactions homme-machine, des modèles d’estimation basés sur les réseaux de neurones convolutifs (CNN) ont été activement explorés. Toutefois, les modèles existants nécessitent souvent des architectures complexes ou des ressources computationnelles redondantes afin d’atteindre une précision acceptable. Pour surmonter cette limitation, ce papier propose HandFoldingNet, un estimateur de posture de main à la fois précis et efficace, qui régresse les positions des articulations à partir d’un nuage de points 3D de main normalisé. Le modèle proposé utilise un décodeur fondé sur une méthode de « pliage » qui plie un squelette manuel 2D donné pour obtenir les coordonnées correspondantes des articulations. Pour améliorer la précision de l’estimation, ce pliage est guidé par des caractéristiques multi-échelles, incluant à la fois des caractéristiques globales et des caractéristiques locales spécifiques à chaque articulation. Les résultats expérimentaux montrent que le modèle proposé surpasser les méthodes existantes sur trois jeux de données standard d’estimation de posture de main, tout en nécessitant le moins de paramètres du modèle. Le code est disponible à l’adresse suivante : https://github.com/cwc1260/HandFold.