TriHorn-Net : Un modèle pour une estimation précise de la posture 3D de la main à partir de la profondeur

Les méthodes d’estimation de la pose 3D de la main ont connu des progrès significatifs récemment. Toutefois, leur précision reste souvent insuffisante pour certaines applications concrètes dans le monde réel, laissant ainsi une importante marge d’amélioration. Ce papier propose TriHorn-Net, un nouveau modèle qui intègre des innovations spécifiques afin d’améliorer la précision de l’estimation de la pose 3D à partir d’images profondeur. La première innovation consiste à décomposer l’estimation de la pose 3D en deux étapes : l’estimation des positions 2D des articulations dans l’espace de l’image profondeur (UV), et l’estimation de leurs profondeurs, aidée par deux cartes d’attention complémentaires. Cette décomposition empêche l’estimation de profondeur — une tâche plus difficile — d’interférer avec l’estimation des coordonnées UV, tant au niveau des prédictions qu’au niveau des caractéristiques extraites. La seconde innovation est PixDropout, qui, à notre connaissance, constitue la première méthode d’augmentation de données basée sur l’apparence spécifiquement conçue pour les images profondeur de mains. Les résultats expérimentaux démontrent que le modèle proposé surpasser les méthodes de pointe sur trois jeux de données publics. Notre implémentation est disponible à l’adresse suivante : https://github.com/mrezaei92/TriHorn-Net.