HandAugment : Une méthode simple de complément de données pour l'estimation de la pose 3D de la main basée sur la profondeur

L’estimation de la posture de la main à partir d’images de profondeur 3D a fait l’objet de nombreuses études dans le domaine de la vision par ordinateur, utilisant diverses approches techniques. Bien que les méthodes basées sur l’apprentissage profond aient considérablement amélioré les performances récemment, ce problème reste encore non résolu en raison du manque de grands jeux de données, tels qu’ImageNet, ou de méthodes efficaces de synthèse de données. Dans cet article, nous proposons HandAugment, une méthode de synthèse de données d’images visant à enrichir le processus d’entraînement des réseaux neuronaux. Notre approche comporte deux composantes principales : premièrement, nous introduisons une architecture en deux étapes basée sur des réseaux neuronaux, permettant aux réseaux de se concentrer efficacement sur les régions de la main, ce qui améliore ainsi les performances ; deuxièmement, nous proposons une méthode simple et efficace de synthèse de données, combinant images réelles et synthétiques dans l’espace d’image. Enfin, nous démontrons que notre méthode obtient la première place dans la tâche d’estimation 3D de la posture de la main à partir de données de profondeur lors du défi HANDS 2019.