Vers de Bonnes Pratiques pour l'Estimation de la Pose 3D de la Main

L'estimation de la posture de la main en 3D à partir d'une seule image de profondeur est un problème important et difficile dans le domaine de l'interaction homme-machine. Récemment, des réseaux convolutifs profonds (ConvNet) avec des conceptions sophistiquées ont été utilisés pour résoudre ce problème, mais les améliorations par rapport aux méthodes traditionnelles basées sur la forêt aléatoire ne sont pas si évidentes. Pour exploiter les bonnes pratiques et améliorer les performances de l'estimation de la posture de la main, nous proposons un réseau d'ensembles régionaux arborescents (REN) pour une régression directe des coordonnées 3D. Ce réseau divise d'abord les sorties de la dernière couche convolutive du ConvNet en plusieurs régions grillagées. Les résultats obtenus par des régresseurs entièrement connectés (FC) distincts sur chaque région sont ensuite intégrés par une autre couche FC pour effectuer l'estimation. En utilisant plusieurs stratégies d'entraînement, notamment l'augmentation des données et la perte $L_1$ lisse, le REN proposé peut considérablement améliorer les performances du ConvNet pour localiser les articulations de la main. Les résultats expérimentaux montrent que notre approche atteint les meilleures performances parmi les algorithmes de pointe sur trois jeux de données publics d'estimation de la posture de la main. Nous avons également testé nos méthodes sur la détection des extrémités des doigts et sur des jeux de données d'estimation de la posture humaine, obtenant une précision à l'état de l'art.