Estimation de la posture de la main dans la tâche d’actions égocentriques

Dans cet article, nous abordons le problème de l'estimation de la pose de la main lorsqu'elle interagit avec divers objets à partir d'un point de vue égocentrique. Ce contexte implique une occlusion fréquente de parties de la main par l'objet, ainsi que des occlusions auto-intra de la main elle-même. Nous adoptons une approche voxel-to-voxel afin d'obtenir des hypothèses concernant les positions des articulations de la main, les regroupons en un ensemble, puis appliquons plusieurs stratégies de post-traitement afin d'améliorer les résultats. Nous exploitons des modèles a priori de la pose de la main sous la forme d'une décomposition en valeurs singulières tronquée (Truncated SVD) ainsi que le contexte temporel afin de raffiner les positions des articulations. Nous présentons une étude d'ablation des différentes méthodes pour illustrer l'influence de chaque composante du post-traitement. Grâce à notre approche, nous avons atteint des résultats de pointe sur le défi HANDS19, Tâche 2 – Estimation 3D de la pose de la main à partir de données profondeur lors d'interactions avec des objets, avec une précision sur des données de test non vues de 33,09 mm.